CuantizaciónQuantization

La cantidad no cambia, solo se reducen los dígitos

Dentro de un modelo hay miles de millones de números que quedaron fijados durante el entrenamiento. Normalmente se guardan con muchos decimales, en un formato generoso. Así se pueden captar diferencias muy finas, pero cada número ocupa bastante espacio.

La cuantización traslada esos números a una escala más gruesa. El valor que cae entre dos marcas se redondea a la marca más cercana. Ningún número desaparece ni se corta ninguna conexión. La cantidad de casillas de la tabla sigue igual; lo que se acorta es el número escrito dentro de cada casilla.

Reducir el espacio a la mitad reduce el peso a más o menos la mitad. Reducirlo a un cuarto también es habitual. Un modelo de diez y tantos gigabytes que baja a cuatro o cinco gigabytes se convierte, a partir de ahí, en algo que puede correr en un ordenador personal.

Dónde se coloca la escala marca la diferencia

Al hacer más gruesa la escala hay que decidir en qué rango se extiende. La mayoría de los números se concentran cerca de cero, y si la escala se estira hasta valores muy grandes, justo esa zona cercana a cero, la que más importa, termina aplastada dentro de una sola marca.

Por eso se fija un intervalo de escala distinto por capa, o incluso por fila. También se usa el método de dejar aparte, en su formato original, a la pequeña cantidad de números que se disparan mucho, y reducir solo el resto. Con la misma cantidad de dígitos, la calidad del resultado puede variar bastante según qué tan bien se haga este ajuste.

A veces se pasa un pequeño conjunto de datos de prueba para medir de verdad dónde se concentran los valores, y con eso se ajusta la escala. No se vuelve a entrenar, solo se ajusta la escala, así que el proceso toma de minutos a algunas horas.

Por qué la IA corre en portátiles y teléfonos

Al correr un modelo, lo que más tiempo consume no es el cálculo en sí, sino traer los números desde la memoria. Con menos dígitos, en el mismo tiempo se puede transportar una cantidad mayor de números. Por eso la velocidad de respuesta mejora de forma notable.

También cambia si el modelo cabe entero en la memoria gráfica o no. Si no cabe, hay que ir cambiando fragmentos todo el tiempo, y eso hace caer mucho la velocidad. El chat de IA que corre dentro del navegador, el traductor que funciona sin internet y las funciones de organizar fotos del teléfono son, en su mayoría, modelos con la escala reducida.

También hay que saber qué se pierde

Ser más liviano tiene un precio. El redondeo desvía un poco cada valor respecto al original, y esa desviación se va acumulando capa tras capa. Escribir una sola línea de respuesta ya pasa por decenas de capas, así que una diferencia invisible al principio se hace notoria más adelante.

Se nota especialmente en decisiones que iban muy ajustadas. Cálculos largos, código donde un solo carácter mal cambia todo el resultado, o respuestas muy extensas: ahí es donde más se nota. En cambio, en una conversación liviana o un resumen, suele ser difícil notar la diferencia.

Es un método distinto de la poda

Como también aligera el modelo, se la menciona a menudo junto con la poda, pero hacen cosas distintas. La cuantización no descarta ni un solo número: los deja todos, y solo hace más grueso el formato con que se anotan. La poda, al revés, elimina directamente las conexiones que no se usan y reduce la cantidad.

No se estorban entre sí, así que a veces se usan juntas: primero se quitan las conexiones que no se usan para reducir la cantidad, y después se hace más gruesa la escala de los números que quedan.