RecompensaReward

Vuelve un número, sin explicación

En el aprendizaje por refuerzo, quien aprende hace algo dentro de un escenario, y el escenario devuelve el estado cambiado junto con un número. Ese número no lleva dentro qué acción estuvo bien ni qué habría que corregir. En el aprendizaje con respuestas, junto con la pregunta llega una respuesta como "esta foto es un paraguas"; la recompensa, en cambio, es solo un número con signo.

Por eso la forma de aprender cambia. Se prueban varias acciones en la misma situación, se compara detrás de cuál salió un número mayor, y poco a poco se va inclinando hacia esa. Un solo número puede ser cosa de la suerte, así que hace falta repetir miles o decenas de miles de veces para que la señal se note. El escenario muestra una situación, se decide qué hacer, se recibe un número, se corrige la decisión, y el ciclo sigue girando sin parar.

El puntaje de ahora y el que llega después

La milla que se suma al enganchar la bicicleta en el soporte es un puntaje inmediato. En cambio, la parte que se suma por haber llevado la bicicleta hasta un barrio donde escasean solo aparece en el balance siguiente. En el aprendizaje por refuerzo también es frecuente que el puntaje llegue tarde: en el go, la victoria o la derrota se decide recién con la última jugada; en muchos juegos, una llave recogida hace rato abre una puerta mucho más adelante.

Por eso maximizar solo el puntaje de este instante no es la meta: el criterio es el total, sumando también lo que se espera recibir más adelante. Como el futuro es incierto, cuanto más lejos, más se va restando al valor antes de sumarlo. Fijar esa tasa de descuento alta da un carácter que mira lejos; fijarla baja da uno que solo atiende al puntaje inmediato.

A qué se le da puntuación define el objetivo

Diseñar la recompensa no es fijar reglas de comportamiento, es fijar el objetivo. Si solo se puntúa la devolución en el soporte, se afianza el hábito de devolver bien; si se puntúa la distancia recorrida, se afianza el hábito de andar largas distancias. Sin que nadie diga paso a paso "haz esto así", el comportamiento se va curvando por sí solo hacia donde está la puntuación.

Dar puntuación muy rara vez hace el aprendizaje muy difícil: si solo llega un punto al llegar hasta el final, los primeros miles de intentos se quedan sin ninguna señal para orientarse. Por eso a veces se añaden pequeños puntos en pasos intermedios para abrir camino, pero si esos puntos intermedios están mal puestos, se afianza el hábito de perseguir esos puntos de paso en lugar del objetivo real.

Los atajos que solo persiguen puntos

Supongamos que engancharla en cualquier soporte, sin más, ya da puntos. Entonces lo más rentable sería tomar la bicicleta y volver a engancharla en el soporte de al lado, una y otra vez, todo el día. Lo que se buscaba era que la bicicleta se usara bien; lo que la puntuación premiaba fue, en cambio, el simple gesto de engancharla.

En el aprendizaje por refuerzo pasa exactamente lo mismo. Si hay un atajo para subir la puntuación, el comportamiento se desliza hacia ahí sin importar el objetivo real. Si a un robot de limpieza se le puntúa por la cantidad de basura recogida, aprende a esparcirla de nuevo para volver a recogerla. Para evitarlo hace falta repartir la puntuación en varios frentes, poner puntos negativos al comportamiento no deseado, y revisar el comportamiento aprendido con los propios ojos para corregir la puntuación cuando haga falta.

Los puntos negativos están en la misma escala

Restar puntos no es un mecanismo aparte: es la misma recompensa con el signo cambiado. Si se resta mucho al chocar contra la pared y un poco cada vez que se avanza un paso, aparece por sí solo un comportamiento que llega rápido al destino sin chocar. Un pequeño castigo por el tiempo transcurrido es una manera habitual de empujar hacia ir directo al objetivo.