Tamaño del modeloModel Size
La cantidad de números que guarda un modelo
- El '7B' que va detrás del nombre de un modelo significa 7.000 millones de parámetros, no el peso del archivo.
- Los parámetros son números que quedaron fijados durante el entrenamiento. Cuantos más hay, más cosas memorizadas y más espacio para guardarlas.
- Para generar una respuesta hay que cargar todos esos números en memoria a la vez, así que el tamaño equivale directamente a la memoria necesaria.
- Que un modelo corra o no en tu ordenador suele depender de la capacidad de la memoria gráfica.
- Redondear los números a menos precisión reduce el tamaño a la mitad, y hasta la mitad de esa mitad. A cambio, se cede algo de exactitud.
Contenido
1La analogía
Imagina que estudias en una sala de estudio donde solo puedes resolver los ejercicios si tienes el libro entero abierto sobre el escritorio. Si es un libro delgado, cabe sin problema en un rincón del escritorio; si es una enciclopedia gruesa, no entra completa. Más allá de si el libro es bueno o malo, si no hay sitio, ni siquiera se puede abrir.
Con el tamaño del modelo pasa lo mismo. El modelo guarda una cantidad enorme de números fijados durante el entrenamiento, y cada vez que genera una respuesta los recorre todos. Por eso hay que cargar esos números enteros sobre el escritorio del dispositivo que hace el cálculo.
Si el escritorio es pequeño, quedan dos salidas: elegir un libro más delgado, o usar una edición resumida con letra más pequeña.
2En detalle
La 'B' es una unidad para contar cantidad
Las etiquetas 7B, 13B, 70B que acompañan al nombre de un modelo son una forma abreviada de escribir el número de parámetros. La B es la inicial de la palabra inglesa para mil millones, así que 7B son 7.000 millones de parámetros y 70B son 70.000 millones.
Los parámetros son números que el modelo fue corrigiendo poco a poco durante el entrenamiento. Partieron de valores sin ningún sentido y se fueron ajustando al ver una enormidad de ejemplos, hasta llegar a su valor actual. El conjunto de esos números es todo lo que el modelo ha aprendido.
Por eso el tamaño se parece más al tamaño del recipiente que al rendimiento en sí. Indica que hay más espacio disponible; que ese espacio esté bien aprovechado depende de los datos y el método usados en el entrenamiento.
La cantidad es directamente espacio ocupado
Guardar un solo número necesita un espacio fijo. Con el formato más habitual, cada número ocupa unos dos bytes. Si hay 7.000 millones de parámetros, son unos 14.000 millones de bytes, que en gigabytes ronda los 14.
Hay un cálculo rápido para hacerse una idea: multiplicar por 2 el número que va antes de la 'B' da, aproximadamente, los gigabytes necesarios. 7B ronda los 14, 13B ronda los 26, 70B ronda los 140.
A eso se le suma un margen extra. Cuanto más larga se hace la conversación, más crece el espacio temporal que guarda lo hablado hasta ese momento. Por eso, en la práctica, hay que reservar unos gigabytes más de los que da el cálculo aproximado.
Si corre o no en tu ordenador
Al intentar correr un modelo en casa, lo primero que suele frenar todo es la memoria de la tarjeta gráfica. El cálculo lo hace la tarjeta gráfica, y para calcular los números tienen que estar cargados en la memoria de esa misma tarjeta.
Si la memoria gráfica es de 8 gigabytes y se intenta cargar algo de 14, simplemente no entra. Si se fuerza de todos modos, la parte que falta se va trayendo desde la memoria normal o el almacenamiento cada vez que hace falta, y ese ir y venir tarda más que el propio cálculo, así que sacar una sola letra puede llevar varios segundos.
Por eso el mismo modelo corre sin problema en un ordenador y resulta prácticamente inusable en otro. No es que le falte capacidad: es que no cabe en el escritorio.
Reducir con una edición resumida
Una forma habitual de reducir el tamaño es escribir los números con menos precisión. Redondear lo que antes se anotaba con muchos decimales reduce a la mitad, y luego otra vez a la mitad, el espacio que ocupa cada número.
Si el espacio de cada número baja de cuatro bloques a uno, algo de 14 gigabytes baja a unos 4, un tamaño que entra en una tarjeta gráfica corriente de uso doméstico. La calidad de la respuesta se vuelve un poco más borrosa, pero en preguntas del día a día muchas veces la diferencia es difícil de notar.
Aun así, reducir tiene un límite. Redondear demasiado hace que el cálculo se vuelva notoriamente inestable. A veces conviene más usar un modelo pequeño desde el inicio que reducir agresivamente uno grande.
Más grande no siempre es mejor
Un modelo grande sabe más cosas y sigue bien pedidos complicados. A cambio es más lento y necesita más equipo y electricidad para funcionar.
Si la tarea está bien definida, un modelo pequeño suele ser mejor opción. Ordenar en un formato fijo, resumir, o clasificar en categorías son tareas que un modelo pequeño resuelve de sobra, y encima la respuesta llega mucho más rápido.
El criterio para elegir el tamaño es uno solo: justo lo que necesita la tarea. El tamaño de más no se traduce en rendimiento, sino en espera y costo.
3Con más precisión
El tamaño del modelo suele expresarse como el número de parámetros fijados durante el entrenamiento. El espacio real que ocupa es ese número de parámetros multiplicado por lo que ocupa cada número, más el espacio que se reserva para los valores intermedios del cálculo y el historial de la conversación. El formato habitual usa 2 bytes por número, y las técnicas de redondeo pueden bajar hasta 0,5 bytes.
La analogía también tiene sus límites. Un libro se puede abrir solo por la página que hace falta, pero un modelo normal recorre todos sus parámetros cada vez que produce un fragmento de respuesta. Existen estructuras que solo usan la parte necesaria en cada paso, y en esos modelos el tamaño total puede ser grande aunque lo que se usa de una vez sea mucho más pequeño; por eso, con la misma etiqueta, el equipo realmente necesario puede variar bastante de un modelo a otro. También vale la pena recordar que el tamaño no marca el orden de rendimiento: no es raro que un modelo pequeño bien entrenado supere a uno grande entrenado a medias.
4Pruébalo
5Malentendidos comunes
Es fácil leer la B de 7B como bytes, pero en realidad es la unidad de miles de millones que cuenta el número de parámetros.
Es fácil pensar que basta con tener memoria igual al tamaño del archivo descargado, pero en realidad hace falta algo más, para el espacio temporal que crece con conversaciones largas.
Es fácil pensar que cuanto más grande, siempre más listo, pero en realidad qué tan bien se entrenó importa tanto como el tamaño.
7Resumen en una línea
En resumenEl tamaño del modelo cuenta cuántos parámetros tiene, y esa cantidad se traduce directamente en la memoria necesaria, lo que decide si puedes correrlo en tu ordenador.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02