Mini-loteMini-Batch

Ni de a una, ni las cien juntas

Si se corrige el valor con cada dato, el paso se da muy seguido, pero el rumbo se sacude fuerte cada vez, porque un solo dato raro puede terminar decidiendo toda la dirección. La eficiencia del cálculo también sale perdiendo: procesar de a uno casi no aprovecha los dispositivos que hacen muchas cuentas de una sola vez.

Al revés, si se ve todo el conjunto y se corrige una sola vez, el rumbo sale muy preciso. Pero si hay millones de datos, dar un solo paso tarda muchísimo, y ni siquiera entran todos juntos en la memoria.

Dividir en tandas da las dos cosas a la vez. Como se promedia dentro de la tanda, el rumbo no se sacude tanto, y como se da un paso al terminar cada tanda, el avance es rápido. Prácticamente todo el entrenamiento de hoy funciona así.

Qué decide el tamaño de la tanda

El primer criterio es la memoria. Para calcular de una vez los datos de la tanda hay que tener cargados tanto los datos como los resultados intermedios. Si se duplica el tamaño de la tanda, la memoria necesaria también se duplica, más o menos. Cuando el entrenamiento se corta por falta de memoria, lo primero que se achica es el tamaño de la tanda.

El segundo criterio es el vaivén. Con tandas chicas, el rumbo cambia un poco cada vez, y ese vaivén no siempre es malo: ayuda a salir de un punto a medias, y a veces hasta da mejor puntaje frente a datos nuevos. Con tandas muy grandes, el paso se vuelve más parejo, pero cada paso sale más caro para lo poco que aporta.

Se mueve junto con la tasa de aprendizaje

Al agrandar la tanda, la dirección de cada paso se vuelve más confiable. Por eso lo habitual es agrandar también, un poco, el tramo del paso. Si se agranda la tanda y se deja igual la tasa de aprendizaje, el entrenamiento se hace más lento porque bajan los pasos que caben en cada vuelta.

Al entrenar un modelo grande repartido en varios dispositivos, cada dispositivo procesa su propia tanda y después se suman los resultados. Ahí el tamaño real de la tanda crece tanto como dispositivos haya, así que si no se ajustan juntos la tasa de aprendizaje y un tramo inicial de calentamiento, el entrenamiento se rompe fácil al principio.

Los datos que sobran y el mezclado

Si la cantidad de datos no se divide justo por el tamaño de la tanda, la última tanda queda más chica. Ese sobrante a veces se usa igual, y a veces se descarta para mantener parejo el tamaño de cálculo. Al terminar cada vuelta se vuelven a mezclar los datos y se arman tandas nuevas, así que los datos que quedaron afuera esta vez entran en la próxima.

También importa que ninguna tanda quede llena de un solo tipo. Si una batea sale entera del mismo tipo, ese paso se inclina todo hacia un solo lado. Con solo mezclar bien los datos, esto casi siempre se resuelve.

Cuando se agrupan frases de largo distinto o fotos de tamaño distinto, hace falta además un ajuste aparte para emparejar el tamaño dentro de una misma tanda: se rellenan con espacios el final de las frases cortas, o se recortan las fotos a un mismo tamaño. Solo después de este ajuste se puede calcular la tanda entera de una vez.