HiperparámetroHyperparameter

Lo que se decide antes de apretar el botón de arranque

La perilla más importante es el tamaño de cada paso. Es el valor que decide cuánto se mueve al corregir según cuánto se equivocó; si se fija demasiado grande, se pasa del objetivo y rebota, y si se fija demasiado chico, todo se hace eterno. En un lavarropas equivale a la fuerza del chorro de agua.

También se fija de antemano cuántas vueltas se van a dar. Si son pocas, se aprende menos, y si son muchas, se termina memorizando los datos. Hay que decidir, además, cuántos se agrupan y se ven de una vez: un lote grande vuelve estable el cálculo pero gasta mucha memoria, y uno chico se sacude más a cambio de salir mejor de puntos poco profundos.

La forma misma del modelo también es una perilla: cuántas capas apilar, cuántas unidades poner en cada capa, qué porcentaje apagar al azar durante el entrenamiento, con cuánta fuerza frenar a los valores para que no crezcan demasiado. Estos valores no los produce el entrenamiento. Hace falta que una persona los escriba para que el entrenamiento pueda arrancar.

El valor que fija el entrenamiento está en otro lugar

Dentro del modelo hay, aparte, números que el entrenamiento fija por su cuenta. A eso se lo llama parámetro. Nadie necesita tocarlo a mano, y ni siquiera se podría: son cientos de millones o más.

El hiperparámetro está un escalón más arriba. Si el parámetro es lo que pasa adentro del tambor cuando la ropa se voltea y se enjuaga, el hiperparámetro es la perilla que fija de antemano cómo va a pasar eso. Son muchos menos, apenas una decena, y una persona los escribe pensándolos uno por uno. El nombre se confunde seguido porque se parecen, pero basta con mirar quién fija el valor para separarlos de una.

Cómo encontrar una buena combinación

Acertar de una sola vez es difícil, porque las perillas se influyen entre sí. Así como subir la temperatura del agua permite acortar el tiempo de lavado, agrandar el paso suele pedir reducir el número de vueltas.

Por eso se corren varias rondas. La forma más simple es fijar unos pocos candidatos para cada valor y probar todas las combinaciones sin dejar ninguna afuera. Cuando los candidatos se multiplican demasiado, también se eligen combinaciones al azar; hay perillas que casi no cambian el resultado, así que este camino suele salir más a cuenta. Otra opción es mirar los resultados anteriores para ir achicando qué combinación probar después.

Cuanto más tarda una ronda, más hace falta el buen tino. Se corre primero una versión corta con pocos datos para hacerse una idea general, y después se corren enteras solo las combinaciones que parecían prometedoras.

Con qué se mide para elegir

Después de correr varias rondas, la última pregunta es con qué se elige. No sirve elegir por el puntaje en los datos de entrenamiento, porque siempre gana la ronda que más memorizó. Por eso se mide con datos de validación separados aparte.

Ahí también hay una trampa. Si se elige decenas de veces con los mismos datos de validación, termina saliendo elegida la combinación que le queda mejor justo a esos datos, y en la práctica se terminó memorizando también la validación a fuerza de tanto usarla. Por eso los datos que van a hacer de examen final se dejan intactos, sin abrirlos ni una vez mientras se eligen las perillas.