¿Qué es Aprendizaje por refuerzo? — una analogía

1La analogía

En una bolera, la primera bola casi siempre se va al canal. Nadie está al lado diciendo "gira el brazo quince grados más hacia adentro" con la respuesta correcta. Lo único que vuelve es el número de bolos caídos: 0, 3, 7. Así que la siguiente bola se lanza un poco distinta: cambia el lugar donde se para, se afloja la fuerza, se mueve el punto donde se suelta la bola. Cuando caen siete, esa combinación se recuerda; cuando vuelve a caer a dos, esa se descarta. Después de decenas de partidas, el cuerpo aprende la regla. No sabe explicar el ángulo, pero sabe cómo hay que lanzar para sacar puntuación. El aprendizaje por refuerzo es justamente eso: corregir la acción mirando solo la puntuación.

2En detalle

Lo único que vuelve es la puntuación

En el aprendizaje por refuerzo hay tres piezas: quien actúa, el escenario que recibe esa acción, y la puntuación que ese escenario devuelve. En los bolos serían, respectivamente, quien lanza, el carril con los bolos, y el número de bolos caídos.

En el aprendizaje supervisado, cada lanzamiento vendría con una respuesta del tipo "esta vez la postura fue correcta". Aquí no hay nada de eso. Solo vuelve una puntuación, y en ella quedan mezclados la postura, el ángulo, la fuerza y el lugar donde se paró. Averiguar qué parte subió la puntuación también forma parte del aprendizaje.

Por eso cómo se diseña la tabla de puntos decide todo el resultado. Si solo cuenta el número de bolos caídos, se afianza la costumbre de lanzar con toda la fuerza; si se resta mucho cada vez que la bola cae al canal, se afianza la costumbre de lanzar con cuidado. La tabla de puntos es, en el fondo, el objetivo.

A veces la puntuación llega mucho después

Un cuadro de bolos son dos bolas. Dónde va la primera decide si con la segunda se puede o no completar un pleno. Si la primera deja solo los bolos de los extremos, con la segunda apenas se puede hacer nada. La primera bola sacó ocho puntos, que no está mal, pero visto el cuadro completo, resultó una pérdida.

Los problemas que aborda el aprendizaje por refuerzo suelen tener esta forma: el valor de una decisión de ahora solo se revela varios pasos después. Por eso se elige la acción sumando no solo la puntuación inmediata, sino también la que se espera recibir más adelante, restándole un poco cuanto más lejos está, para poder compararla con la puntuación segura de ahora mismo.

Seguir haciendo lo de siempre o probar algo nuevo

Si ya se encontró un lugar donde caen siete bolos, conviene seguir lanzando ahí. Pero si dos pasos más allá hay un lugar que da pleno, así nunca se va a encontrar. En el otro extremo, si cada vez se lanza desde un lugar nuevo, la puntuación no deja de subir y bajar sin control.

A este equilibrio se le llama exploración y explotación. Al empezar a aprender conviene darle mucho peso a probar cosas nuevas, y a medida que se gana experiencia, ir desplazándolo hacia lo que funcionó bien. Ajustar este equilibrio sin inclinarse del todo hacia ninguno de los dos lados es, en el aprendizaje por refuerzo, lo que más trabajo da.

La regla que queda grabada en el cuerpo es la política

Después de decenas de partidas, lo que queda no es el historial de puntos, sino una regla del tipo "en esta situación, se lanza así". Cosas como el lugar donde pararse cuando quedan bolos a la derecha, o cuánta fuerza aplicar cuando el carril está resbaladizo. A este conjunto de reglas se le llama política.

Cuando termina el proceso de aprendizaje, lo que se usa de verdad es esta política: se le da una situación y sale una acción. Una política bien afinada se defiende razonablemente bien incluso en un carril nunca visto, pero si es demasiado distinto a lo que vio durante el aprendizaje, vuelve a fallar como al principio.

En la práctica se lanza cientos de miles de veces

Una persona le toma el pulso en pocas partidas, pero una máquina no. Como la información de una sola puntuación es muy poca, hacen falta desde cientos de miles hasta cientos de millones de intentos para que salga una política decente.

Por eso casi siempre se aprende dentro de un escenario simulado, en vez del mundo real, donde se pueden correr millones de partidas al día sin miedo a romper ninguna bola. El problema es que, si ese escenario se aparta un poco de la realidad, lo aprendido deja de servir. En robótica, cerrar esa brecha sigue siendo una tarea pendiente.

3Con más precisión

El aprendizaje por refuerzo repite el ciclo de observar un estado, elegir una acción y recibir una recompensa, buscando la política que haga más grande la suma de recompensas futuras. Al valor que resulta de restar un poco a las recompensas futuras y sumarlas se le llama recompensa acumulada descontada, y a la tabla que asigna un valor a cada par de estado y acción, función de valor.

La analogía también cojea en algún punto. En los bolos, al terminar una partida se vuelve al estado inicial, pero en muchos problemas reales una decisión anterior lleva a un estado del que ya no se puede volver atrás. Además, la puntuación de los bolos sigue una regla clara, mientras que en la vida real alguien tiene que decidir a mano qué vale cuántos puntos, y si ese diseño falla, se aprende un comportamiento que puntúa alto pero no sirve de nada. El método que ajusta modelos de lenguaje a partir de las preferencias humanas se apoya en este mismo marco: en vez de escribir a mano la tabla de puntos, se aprende la forma de puntuar a partir de las elecciones de la gente. Trasladado a los bolos, sería puntuar no por el número de bolos caídos, sino por cuál de dos lanzamientos prefirió el público.

4Pruébalo

5Malentendidos comunes

Es fácil pensar que el aprendizaje por refuerzo es una versión más avanzada del supervisado, pero en realidad son formas distintas que atacan problemas distintos: si se puede poner la respuesta de antemano, el aprendizaje supervisado es mucho más rápido y estable.
Es fácil creer que basta con dar buena puntuación para que aprenda solo a hacerlo bien, pero en realidad es muy común que encuentre huecos en la tabla de puntos y suba el número sin hacer nada útil de verdad.
Es fácil pensar que la máquina se fija sus propias metas, pero en realidad el objetivo lo fija quien diseñó la tabla de puntos; lo que el aprendizaje decide no es la meta, sino el camino para llegar a ella.

7Resumen en una línea

En resumenEl aprendizaje por refuerzo es un método que, intentándolo una y otra vez en un escenario donde solo se recibe puntuación en lugar de respuestas, encuentra por sí solo la regla de acción que hace crecer la puntuación futura.

¿Te ayudó esta analogía?

¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02