OptimizadorOptimizer

Saber solo la dirección sale caro

El gradiente indica hacia qué lado baja el terreno desde donde se está. Pero moverse a rajatabla en esa dirección genera desperdicio, sobre todo en un valle angosto y largo, empinado de un lado y suave del otro.

En un lugar así, se rebota con fuerza hacia el lado empinado y se vuelve, una y otra vez, mientras que hacia el lado suave apenas se avanza. Debería bajarse en línea recta por el valle, pero en cambio se avanza a los zigzags, chocando contra las paredes. Se gastan muchísimos pasos y se baja muy poco.

El optimizador no usa el gradiente tal cual: lo retoca antes de aplicarlo. Guarda memoria de los pasos anteriores y la mezcla con el gradiente actual para armar el movimiento real.

El impulso reduce el rebote

El primer truco es heredar, en cierta proporción, la magnitud del paso anterior. Si se viene yendo siempre hacia el mismo lado, esa parte heredada se acumula y el paso crece; si la dirección se invierte a cada rato, esos aportes se cancelan entre sí y se apagan.

Aplicado al valle, el vaivén contra las paredes se reduce y queda solo el avance a lo largo del valle, que gana velocidad. Con esa velocidad guardada, hasta se puede pasar de largo por encima de un pozo poco profundo, así que también baja el riesgo de quedar atrapado en un punto a medias.

La proporción heredada suele fijarse cerca de conservar casi todo el paso anterior. Si se fija demasiado alta, el movimiento sigue empujando hacia el rumbo viejo un buen rato después de haber cambiado de dirección; si se fija demasiado baja, es como no tener impulso.

Dar un paso distinto según la dirección

El segundo truco es manejar por separado el tamaño del paso de cada valor. Se lleva un registro de cuánto se sacudió ese valor hasta ahora, y a los que se sacudieron mucho se les reduce el paso, mientras que a los que casi no se movieron se les agranda.

Este truco ayuda sobre todo con características que aparecen rara vez. El valor asociado a una característica que aparece de vez en cuando tiene pocas oportunidades de actualizarse, y agrandarle el paso permite aprovechar bien esas pocas ocasiones. Adam, el optimizador más usado, combina estos dos trucos a la vez.

Aun así, el tamaño base lo pone una persona

Que el optimizador ajuste el paso por su cuenta no significa que ya no haga falta la tasa de aprendizaje. Lo que se ajusta por dirección es apenas un multiplicador; la línea base sobre la que se aplica ese multiplicador la sigue escribiendo una persona. Si esa línea base es grande, el movimiento rebota igual, por buenos que sean los demás trucos.

Por eso en la práctica es común dejar fijo un optimizador de uso extendido y ajustar solo la tasa de aprendizaje probando algunos valores. Corregir la tasa de aprendizaje suele mover el resultado mucho más que cambiar de optimizador.