Modelo de lenguaje pequeñoSmall Language Model

Pequeño significa que tiene menos valores adentro

Dentro de un modelo de lenguaje hay números fijados por el entrenamiento, empaquetados muy apretados. La cantidad de esos números es el tamaño del modelo. Un modelo grande tiene cientos de miles de millones; uno pequeño, de cientos de millones a unos pocos miles de millones.

Con menos números, el archivo pesa menos y ocupa menos espacio al instalarlo en un dispositivo. También baja la cantidad de cálculo necesaria, así que la respuesta llega más rápido. En vez de tomar un modelo grande y comprimirlo a la fuerza, se suele entrenar desde el principio con un molde chico, o entrenar el modelo pequeño usando como material de estudio las respuestas de uno grande.

No hay un número fijo a partir del cual algo deja de llamarse pequeño. Un tamaño que hace unos años pasaba por grande hoy se clasifica como pequeño, porque el método de entrenamiento mejoró y el mismo tamaño rinde mejor cada año.

Lo que se gana al ser liviano

Lo primero es velocidad. Como hay menos cálculo, la primera palabra aparece mucho más rápido, y al no ir y volver de un servidor, ese tiempo también desaparece.

Lo segundo es que funciona en cualquier lugar. Corre sin internet, dentro de un avión, o en una red interna aislada de una oficina.

Lo tercero suele ser, en la práctica, la razón más importante: lo que se escribe no sale del dispositivo. Con historiales médicos o documentos internos que es delicado enviar fuera, un modelo pequeño puede ser la única opción posible.

Lo cuarto es el costo. Como cada usuario exige menos cálculo, el mismo equipo puede atender muchas más solicitudes a la vez.

Lo que no está en la mochila no se puede sacar

Un modelo pequeño solo puede guardar una porción chica de conocimiento del mundo. Lleva lo básico que aparece todo el tiempo, pero se tambalea rápido con hechos poco comunes, con contenido muy especializado o con idiomas de pocos usuarios. Y esa costumbre de rellenar con una frase que suena bien en vez de admitir que no sabe aparece con más frecuencia justo en los modelos pequeños.

También flaquea en problemas que exigen encadenar varios pasos. Se pierde en cálculos con tres o cuatro condiciones a la vez, o en textos largos donde hay que respetar al final una regla fijada al principio. Cuanto más se alarga la conversación, más fácil pierde el hilo de lo dicho antes.

El problema de falta de conocimiento se puede tapar bastante entregando material junto con la pregunta. Si se busca el documento necesario y se entrega junto con la consulta, el modelo pequeño también encuentra bien la respuesta ahí dentro. Es como ir dejando en el camino, en cada tramo, el objeto que no entró en la mochila.

Con el camino decidido, la mochila chica alcanza

Como ventanilla para responder cualquier cosa, un modelo pequeño se queda corto. Pero lo que de verdad le piden muchos servicios reales no suele ser tan amplio: separar consultas por tipo, sacar las tareas pendientes de un acta de reunión, reescribir una frase con un formato fijo.

Para tareas así, con juntar ejemplos de ese uso concreto y entrenar un poco más, la precisión sube mucho. En una tarea acotada, la diferencia frente a un modelo mucho más grande casi no se nota. Y con lo que se ahorra al reducir el tamaño, se puede incluso permitir revisar el resultado varias veces.

Últimamente también se mezclan los dos: el pedido fácil lo resuelve directamente el modelo pequeño que vive en el dispositivo, y solo el pedido que se le complica pasa al modelo grande.