PreentrenamientoPretraining
Etapa donde se aprende lo básico antes de decidir para qué se usará
- El preentrenamiento es la etapa donde, antes de decidir para qué se va a usar, se aprende lo básico con una cantidad enorme de texto.
- Nadie pone las respuestas correctas a mano. El propio texto ya trae la respuesta, así que la pregunta y la respuesta se generan solas.
- En esta etapa se incorporan de una sola vez la ortografía, la estructura de la frase y hasta el conocimiento general del mundo.
- Toma mucho tiempo y cuesta caro. Por eso se hace una sola vez y se reparte para muchos usos.
- Hasta qué punto llega el material aprendido se convierte, directamente, en el límite de lo que el modelo conoce del mundo.
Contenido
1La analogía
Al sacar la licencia de conducir no se aprende "el camino de mi casa al trabajo". Lo que se enseña en el examen sirve en cualquier lugar: manejar el volante y los pedales, qué significan los carriles y las señales, qué hacer cuando cambia el semáforo.
Mientras se enseña eso, nadie sabe todavía si esta persona va a manejar para ir al trabajo, para repartir carga o por caminos rurales. Como no se conoce el destino, tampoco tiene sentido hacerla memorizar una ruta concreta. Por eso se enseña, de forma pareja, lo básico que sirve para cualquier camino.
Una vez sacada la licencia, cada uno se va por su lado. Se puede manejar incluso en un barrio nunca antes visto, y solo hace falta aprender aparte lo específico de trabajos con mañas propias, como repartir paquetes. El preentrenamiento es ese examen.
2En detalle
Se aprende antes de fijar el objetivo
El método antiguo era al revés. Para hacer un clasificador de emociones, se juntaban reseñas con su etiqueta correcta y se entrenaba solo con eso. Para hacer un traductor, había que empezar todo de nuevo. Era fijar primero el destino y hacer memorizar solo ese camino.
El preentrenamiento deja el destino sin fijar. Hace leer tal cual documentos de internet, libros, enciclopedias y todo tipo de texto, solo para que se aprenda cómo se usa el lenguaje. Para qué se va a usar se decide después.
Invertir este orden es la razón por la que los modelos de lenguaje se extendieron tan rápido a tantos campos. Ya no hace falta construir desde cero cada vez que se quiere una tarea nueva.
El cuadernillo de ejercicios se arma solo
El entrenamiento con respuestas puestas a mano salía caro. Marcar a mano si cada una de cien mil reseñas es buena o mala exige una cantidad enorme de trabajo humano.
En el preentrenamiento no hace falta ese paso. Se tapa una parte del texto y se pide adivinar qué iba ahí; la respuesta ya está escrita en el original tapado. La corrección sale gratis. Por eso hasta un texto que nunca pasó por manos humanas sirve tal cual para entrenar.
Gracias a esto, la cantidad de material que se maneja creció a una escala que no se puede comparar con antes. Se volvió posible recorrer, de un tirón, más texto del que una persona leería en toda su vida.
Se apilan varias capas a la vez
Aunque el ejercicio parece simple, solo llenar huecos, adentro se acomodan varias cosas al mismo tiempo. En la base se asienta la letra y la ortografía: primero se incorpora qué letra suele venir después de cuál.
Encima se asienta la estructura de la frase: cómo se conjugan los verbos, cómo concuerdan sujeto y predicado. Es el punto donde, sin haber abierto ningún libro de gramática, una frase torpe empieza a sonar torpe.
Arriba de todo se apoya el conocimiento del mundo. Para acertar el hueco en "El pan es un alimento hecho de ___", hace falta saber qué es el pan. De tanto entrenarse para llenar huecos, el conocimiento terminó viniendo de arrastre.
Toma mucho tiempo y cuesta caro
El preentrenamiento tarda de semanas a meses en completar una sola corrida, y exige una cantidad enorme de equipo de cálculo. Cambiar de rumbo a mitad de camino también es difícil. Aunque se descubra, con el entrenamiento ya muy avanzado, que había un problema en los datos, revertirlo no es sencillo.
Por eso esta etapa no la hace cualquiera. En su lugar, se asentó la costumbre de tomar un modelo que ya pasó por el preentrenamiento y usarlo tal cual. Es como no sacar una licencia nueva, sino contratar a alguien que ya la tiene.
Lo que viene después de sacar la licencia
Un modelo que solo pasó por el preentrenamiento sigue el texto muy bien, pero es torpe siguiendo instrucciones. Si le haces una pregunta, puede encadenar preguntas parecidas en vez de responder. Es un resultado esperable: solo practicó seguir escribiendo lo que viene después.
Por eso se le agrega una etapa de ajuste. Se le muestran ejemplos donde una instrucción va emparejada con una buena respuesta, para enseñarle a conversar, y se ajusta el tono y la actitud con la elección humana de qué respuesta es mejor. Recién completando esto llega a la forma que usamos.
3Con más precisión
El preentrenamiento es entrenar con problemas que salen de los propios datos, sin una hoja de respuestas hecha para una tarea concreta. A este método se le llama aprendizaje autosupervisado. Los modelos que siguen escribiendo usan sobre todo la tarea de adivinar el fragmento siguiente; los modelos orientados a entender usan la de reconstruir el fragmento tapado. En ambos casos no hace falta una hoja de respuestas hecha por una persona, y eso es justamente lo que permitió escalar el entrenamiento a un volumen de texto tan enorme.
La analogía también tiene sus límites. En el examen de conducir hay aprobado y reprobado, pero el preentrenamiento no tiene una línea de corte así: se acerca más a reducir poco a poco el error hasta detenerse en el punto donde ya no mejora más. Además, quien saca la licencia sigue aprendiendo con cada situación nueva de tráfico, pero un modelo que terminó el preentrenamiento no sigue aprendiendo por su cuenta. No sabe nada de lo que pasó después del momento en que se juntó el material, y para que lo sepa hay que volver a entrenarlo o entregarle el material necesario en el momento.
4Pruébalo
5Malentendidos comunes
Es fácil pensar que el preentrenamiento se hace con material que alguien etiquetó a mano, pero en realidad el propio texto hace de respuesta correcta, así que casi no interviene una mano humana.
Es fácil pensar que apenas termina el preentrenamiento ya se puede conversar, pero en realidad hace falta pasar además por una etapa de ajuste para seguir instrucciones antes de llegar a la forma que conocemos.
Es fácil pensar que el modelo sigue aprendiendo mientras conversa, pero en realidad, una vez terminado el preentrenamiento, el contenido queda fijo y lo hablado en la conversación no se acumula dentro del modelo.
7Resumen en una línea
En resumenEl preentrenamiento es la etapa donde, antes de decidir para qué se va a usar, se llena de antemano lo básico del idioma y del conocimiento general con una cantidad enorme de texto.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02