Exploración y explotaciónExploration vs Exploitation

Solo se puede elegir una a la vez

Este problema es difícil porque las dos cosas no se pueden hacer al mismo tiempo. Cada lanzamiento hacia el lugar nuevo es un lanzamiento que no se hizo hacia el conocido. Por eso probar algo nuevo siempre tiene un precio. Lo que se gana a cambio de pagar ese precio es información: se sabe si ese lugar es bueno o malo, y esa información cambia la siguiente decisión.

Tampoco es un problema exclusivo del aprendizaje por refuerzo. Elegir entre ir por el camino de siempre o abrir uno nuevo, o entre seguir con el producto que se vende bien o meter uno nuevo, tiene la misma estructura. Solo que en el aprendizaje por refuerzo este equilibrio se repite decenas de miles de veces, así que cómo se reparte decide el éxito o el fracaso del aprendizaje.

Cuando se inclina hacia un solo lado

Empecemos por quien solo explota. Si en los primeros lanzamientos caen por casualidad dos o tres piezas en un lugar, ese lugar parece el mejor de todos. A partir de ahí se sigue lanzando siempre ahí, así que otros lugares nunca tienen oportunidad de comprobarse. Aunque haya un lugar mucho mejor justo al lado, se termina el día sin saberlo nunca. La suerte de los primeros lanzamientos termina definiendo todo el día.

Quien solo explora también tiene un problema. Si se lanza siempre a un lugar nuevo, se acumula mucha información sobre los distintos lugares, pero no queda tiempo de verdad para lanzar en el bueno. En el aprendizaje es como moverse todo el rato al azar: casi no se recibe puntuación, así que tampoco hay mucho que aprender de ahí.

Elegir al azar de vez en cuando, a propósito

El método más usado es simple. Nueve de cada diez veces se elige lo que hasta ahora dio mejor resultado, y una de cada diez, cualquier otra cosa al azar. Solo hace falta fijar esa proporción, así que es fácil de aplicar y funciona, al menos un poco, en casi cualquier problema.

Esta proporción no se deja fija: se va reduciendo con el tiempo. Al principio, como no se sabe nada, se dedica cerca de la mitad a elegir al azar; a medida que se juegan más rondas y los valores se van asentando, se va bajando poco a poco. Hacia el final, solo una de cada cien veces se prueba algo nuevo. Es una progresión que barre ampliamente al principio y va cerrando el foco después.

Dar un valor generoso a lo poco probado

Elegir al azar tiene un defecto: se sigue lanzando con la misma probabilidad hacia lugares que ya se confirmó que son malos. Por eso apareció un método mejor. Al puntuar cada lugar, se le suma un extra a los lugares que se han probado menos. Cuantas menos veces se ha lanzado ahí, más grande es ese extra.

Así, los lugares menos confirmados suben de forma natural y terminan eligiéndose. Cuanto más se lanza ahí, menor se hace el extra, así que los lugares malos se retiran solos hacia atrás, y solo quedan al frente los que podrían ser buenos pero aún no están confirmados. Es una forma mucho más eficiente de reunir información que lanzar al azar sin más.

Cuando ya se terminó de aprender

Una vez que el aprendizaje termina y llega el momento de usarlo de verdad, lo normal es apagar la exploración: se deja que solo elija lo que se juzgó mejor. No hay razón, en la práctica real, para elegir a propósito una opción peor. Solo cuando el entorno cambia según pasa el tiempo, tal como cambian las condiciones del agua con las estaciones, se deja un poco de exploración incluso al final. No hay garantía de que lo mejor de ayer siga siendo lo mejor hoy.