PolíticaPolicy
La norma que fija qué hacer en cada situación
- La política es la norma que fija qué hacer en cada situación. Es también el resultado final que el aprendizaje por refuerzo termina aprendiendo.
- A veces fija una sola acción para cada situación, y a veces reparte una probabilidad entre varias acciones.
- Hay dos caminos para ajustarla: dar un puntaje a cada acción y elegir la mejor, o empujar poco a poco la propia norma.
- Si una política es buena o no se mide por la suma de recompensas que se obtiene jugando varias rondas con ella.
- La política no es el objetivo, es el método. El objetivo es la puntuación; la política es la norma de acción que se fijó para conseguir mucha de esa puntuación.
Contenido
1La analogía
Al entrar en un parque de diversiones, las decisiones se suceden todo el día. Si delante de una atracción marca sesenta minutos de espera, hay que decidir si pasar de largo o no; si marca veinte, hay que decidir de nuevo si hacer la fila. Hay quien decide según el ánimo del momento, pero quien ya vino varias veces se mueve con una norma fijada de antemano. Si pasa de sesenta minutos, seguir de largo; si baja de veinte, hacer fila sin dudar; al llegar el mediodía, salir de la fila y comer primero. Esta pequeña lista, que dice qué hacer en cada situación, cambia el resultado del día entero. Con el mismo parque y el mismo tiempo, cambia cuántas atracciones se terminan montando. En el aprendizaje por refuerzo, a una norma así se le llama política.
2En detalle
Entra una situación, sale una acción
La política es la norma que, dada una situación, produce una acción. En el parque de diversiones, la situación es el lugar donde se está, el tiempo de espera y la hora; la acción es hacer fila, seguir de largo, ir a comer, y cosas por el estilo. El agente del aprendizaje por refuerzo, cada vez que mira el tablero, consulta esta norma una vez y saca de ahí la siguiente acción.
La forma de la norma cambia según el tamaño del problema. Si las situaciones son unas pocas decenas, se puede anotar todo en una simple lista. Cuando las situaciones son prácticamente infinitas, como los píxeles de una pantalla, una lista ya no alcanza, así que una red neuronal que recibe la situación y devuelve la acción hace las veces de política. Aprender significa, justamente, ir corrigiendo esta norma poco a poco.
Fijar una sola acción o repartir probabilidades
La política puede tener dos formas. Una es fijar una sola acción para cada situación, sin dudar: si son sesenta minutos, seguir de largo siempre. Es simple y estable, pero al seguir siempre el mismo camino, nunca se llega a saber qué había en los caminos que no se tomaron.
La otra reparte una probabilidad entre las acciones: con sesenta minutos, nueve de cada diez veces seguir de largo, pero una de cada diez, probar a hacer fila. Con esto, la política siempre está probando algo nuevo, y en problemas donde hay un rival, tiene la ventaja de no volverse predecible. También es habitual repartir probabilidades mientras dura el aprendizaje y, una vez terminado, quedarse fijo con la opción de mayor probabilidad.
Dos caminos para corregir la política
El primer camino consiste en poner un puntaje primero. Se anota cuánta puntuación se espera ganar con cada acción en cada situación, y la política simplemente elige la de mayor puntaje. Aquí la política no se aprende por separado, sale automáticamente de la tabla de puntajes. Funciona bien cuando las acciones son pocas y se pueden contar.
El segundo camino empuja la política directamente. Se juegan varias rondas siguiendo la política, y se sube un poco la probabilidad de las acciones que se eligieron en las rondas con buen puntaje, mientras se baja la de las rondas malas. Este camino se usa cuando la acción es un valor continuo, como el ángulo con que se gira un volante, y cuando hace falta una política que reparta probabilidades. También es muy común combinar los dos caminos: uno pone el puntaje y el otro, mirando ese puntaje, empuja la política.
Cómo se mide si una política es buena
No se puede saber si una política es buena o mala mirando una sola ronda, porque el resultado cambia entre un día con poca fila y un día de lluvia. Por eso se juegan varias rondas con la misma política y se mira el promedio de puntuación obtenido. A ese promedio se le llama el valor de esa política.
Al corregir la política, hay que empujarla solo en la dirección donde ese valor sube. Si se deja arrastrar demasiado por un solo buen resultado y se cambia la política de golpe, es fácil que empeore, así que se pone un tope que solo permite moverla un poco cada vez. Una política bien entrenada termina con el puntaje total tan alto como el número de atracciones montadas al final de un día muy aprovechado.
La política es método, no objetivo
Por muy buena que parezca una política, ella misma no es el objetivo. El objetivo siempre es la puntuación. Si cambia dónde se puso la puntuación, cambia por completo cuál es la mejor política. Si se puntúa el número de atracciones, la mejor política es la que solo elige las filas cortas; si se puntúa montar sin falta en la atracción más popular, la mejor política es la que espera una hora entera.
Por la misma razón, es difícil mirar una política y decir a simple vista si es buena o mala. Con frecuencia una política que parece rara a ojos humanos termina consiguiendo mejor puntuación. El juicio, al final, lo da la puntuación total conseguida con esa política.
3Con más precisión
La política (Policy) es una función que asigna una acción a cada estado. Si decide una única acción, se llama política determinista; si reparte probabilidades entre acciones, política estocástica. El método que aprende primero la función de valor y elige la mejor opción se llama basado en valor; el que empuja directamente el valor de la política se llama de gradiente de política, y a la combinación de ambos se le llama actor-crítico. Lo que busca el aprendizaje por refuerzo es la política óptima: la que hace más grande la recompensa acumulada esperada.
La analogía también cojea en algún punto. La norma del parque de diversiones la decide una persona sentada, pensándola con la cabeza; la política del aprendizaje por refuerzo, en cambio, se va empujando de a poco a partir de decenas de miles de rondas jugadas. Por eso, al abrir una política ya terminada, no aparece una lista de artículos como un reglamento: muchas veces es más bien un bloque que solo produce una acción cuando se le mete una situación. Una cosa más: la norma del parque de diversiones se procura cumplir a rajatabla, pero una política en pleno aprendizaje se salta a propósito de vez en cuando, porque probar caminos nunca recorridos es necesario para encontrar una política mejor.
4Pruébalo
5Malentendidos comunes
Es fácil pensar que la política es una regla que fija una persona, pero en realidad es un resultado que el aprendizaje ha ido afinando por sí solo, a base de recibir puntuación.
Es fácil creer que una buena política siempre hace la misma acción, pero en realidad, repartir probabilidades entre varias acciones suele dar mejor resultado.
Es fácil pensar que la política y el objetivo son lo mismo, pero en realidad el objetivo está en la puntuación, y la política es el método para conseguir mucha de esa puntuación.
7Resumen en una línea
En resumenLa política es la norma que fija qué hacer en cada situación, y es el resultado que el aprendizaje por refuerzo termina afinando a fuerza de recibir puntuación.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02