Agente y entornoAgent & Environment
Quien actúa y el tablero que responde a esa acción
- El aprendizaje por refuerzo empieza partiendo el escenario en dos. Quien actúa es el agente; todo lo demás, que recibe esa acción y responde, es el entorno.
- Entre ambos circulan tres cosas: el estado que muestra el entorno, la acción que elige el agente, y la recompensa que vuelve después.
- Estas tres se repiten en cada paso: la acción cambia el tablero, y el tablero cambiado provoca la siguiente acción, en un ciclo continuo.
- Muchas veces el agente no ve el tablero entero. Ahí, lo que se ve y el estado real son cosas distintas.
- Hasta dónde llega el agente es una línea que traza una persona. Solo lo que se puede decidir libremente cuenta como agente; todo lo demás es entorno.
Contenido
1La analogía
Al sentarse frente a un tablero de ajedrez, el mundo se parte en dos. De un lado está quien mueve las piezas; del otro, el tablero y todas las piezas que hay sobre él. Lo único que puede hacer quien mueve es una cosa: mirar el tablero tal como está y elegir a dónde mover una pieza. No puede volcar el tablero con la mano ni decidir cómo responderá el rival. Se hace un movimiento y el tablero cambia; el rival responde y el tablero vuelve a cambiar. Entonces se mira el tablero recién dispuesto y se elige otra vez el siguiente movimiento. El tablero no explica por qué ese movimiento fue bueno: solo muestra cómo quedó todo después. La parte que mejora con la práctica no es el tablero, es quien mueve las piezas. Esas dos partes son el agente y el entorno del aprendizaje por refuerzo.
2En detalle
Quien elige y quien recibe
El agente es quien toma la decisión. Solo cuenta con el tablero tal como se ve en ese momento y con la lista de acciones posibles, y su único trabajo es elegir una y ponerla sobre la mesa. El entorno es quien recibe esa acción, la procesa según las reglas y devuelve el tablero cambiado junto con una recompensa. Las reglas del juego, la respuesta del rival, las leyes físicas, hasta la suerte del día: todo lo que no es el agente cae del lado del entorno. Aquí conviene una aclaración: este agente no tiene nada que ver con un asistente de IA que usa herramientas por ti; dentro del aprendizaje por refuerzo es, sencillamente, la pieza que elige una acción cada vez que le toca mover.
Esta división existe para dejar claro dónde está el margen de mejora. Lo único que se puede corregir es cómo elige el agente. Cómo responde el entorno no se puede cambiar, solo se va conociendo con la experiencia. Trazar la línea entre la mano y el tablero es el primer paso para resolver el problema.
El ciclo que gira en cada paso
Cada paso tiene tres tiempos. Primero, el entorno muestra el tablero tal como está: a eso se le llama estado. El agente mira ese estado y elige una acción. El entorno recibe la acción, cambia el tablero y devuelve el nuevo estado junto con una recompensa. Entonces se vuelve al principio y se repiten los mismos tres tiempos.
Mientras este ciclo gira cientos de miles o millones de veces, el agente va acumulando, poco a poco, qué acción dio mejor recompensa en qué estado. Con eso acumulado se afina una regla que dice qué hacer en cada situación. A esa regla se le llama política.
Lo que se ve y el tablero real son distintos
En el ajedrez el tablero se ve completo, pero el mundo real no siempre es así. En un juego con niebla, el terreno del rival queda oculto; en un robot que solo mira hacia adelante con una cámara, no se sabe qué pasa a sus espaldas. En estos casos, lo que recibe el agente no es el estado real del tablero, sino un fragmento recortado de él.
Decidir mirando solo ese fragmento hace tropezar cuando la misma imagen esconde situaciones distintas. Por eso se suelen juntar los últimos pasos vistos, o llevar un resumen de lo observado hasta ahora. Cuanto menos se ve del tablero, más difícil se vuelve el problema.
Dónde se traza la línea cambia el problema
Pensemos en un brazo robótico que agarra un objeto. Si se toma como acción girar directamente cada articulación, los motores del brazo quedan del lado del entorno, y el problema queda partido en trozos muy finos. Si en cambio se toma como acción una orden grande como "agarra el objeto de la izquierda", todo el movimiento del brazo queda dentro del entorno, y el número de decisiones baja mucho.
No hay una manera fijada de antemano como la correcta. Pero sí existe un criterio habitual: dejar dentro del agente solo lo que el agente puede cambiar a voluntad. Cosas como la velocidad con la que se gasta la batería o la fricción del suelo se cuentan como entorno, aunque estén pegadas al mismo cuerpo.
Cuando termina una partida, se empieza de nuevo
Al terminar una partida de ajedrez se colocan las piezas en su sitio y empieza una nueva. En el aprendizaje por refuerzo también hay problemas con principio y fin, que se tratan partida por partida. A cada una se le llama episodio. Al terminar cada episodio queda un resultado, y con miles de episodios acumulados va subiendo el nivel.
También hay problemas sin fin. Ajustar sin parar el funcionamiento de una fábrica, o repartir sin parar la carga de unos servidores, no tienen un último movimiento. En esos problemas, en lugar de cortar por episodios, se maneja un total que va restando un poco a las recompensas futuras a medida que se suman.
3Con más precisión
La interacción entre agente y entorno suele describirse con un marco llamado proceso de decisión de Markov. Es un conjunto de cinco elementos: el estado, la acción, la probabilidad con que cambia el estado, la recompensa y el factor de descuento. Detrás está el supuesto de que, con solo conocer el estado actual, ya queda determinado lo que sigue, sin que importe el camino recorrido para llegar hasta ahí. Cuando hay partes ocultas y ese supuesto se rompe, se trata como un problema de observación parcial, y en ese caso lo que recibe el agente no se llama estado, sino observación: un resumen incompleto que puede esconder información importante para decidir bien.
La analogía también cojea en algún punto. El rival de ajedrez es un ser que piensa, pero el entorno del aprendizaje por refuerzo se trata simplemente como algo que responde según reglas; incluso en juegos con rival, lo habitual es meter también las jugadas del rival dentro del entorno. Además, en el ajedrez se juega por turnos, pero en muchos problemas de aprendizaje por refuerzo el entorno no espera el turno del agente: el tiempo sigue corriendo, y quedarse pensando demasiado también cuenta como una forma de actuar.
4Pruébalo
5Malentendidos comunes
Es fácil pensar que el agente es el robot o el programa entero, pero en realidad solo la parte que decide es el agente; piezas como el motor o la batería, que no se pueden cambiar a voluntad, son entorno.
Es fácil creer que el entorno es solo el escenario visible, como la pantalla de un juego, pero en realidad abarca las reglas, al rival y hasta la suerte: todo lo que no es el agente.
Es fácil pensar que el agente conoce todo el estado del entorno, pero en realidad, la mayoría de las veces, solo recibe un fragmento recortado de él.
7Resumen en una línea
En resumenEl agente es quien mira el tablero y elige un movimiento, y el entorno es quien recibe ese movimiento y devuelve un tablero nuevo con una recompensa; el aprendizaje por refuerzo consiste en hacer girar ese ciclo entre ambos.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02