AlineaciónAlignment

La capacidad y el rumbo crecen por separado

Entrenar más y agrandar el modelo hace que resuelva más cosas: escribe con más soltura, resuelve problemas más largos, entiende pedidos más complejos. Eso es el viento haciéndose más fuerte, pero hacia dónde apunta esa fuerza no queda decidido ahí.

El rumbo se fija en otro proceso: qué respuestas se marcaron como buenas, qué se enseñó a rechazar, qué se contó como un logro. Entrenar la capacidad y entrenar el rumbo usan material y pasos distintos.

Por eso la expectativa de "si se vuelve más inteligente, se va a comportar bien solo" no encaja del todo.

Lo que se desea no cabe entero por escrito

Lo que las personas piden a la IA suele quedar escrito en frases cortas: que ayude, que sea honesta, que no cause daño. Pero detrás de esas palabras cortas hay incontables decisiones que cambian según la situación: dónde termina la honestidad y dónde empieza la falta de tacto.

El objetivo escrito siempre recoge solo una parte de lo que se desea. El resto se llena con ejemplos, y los ejemplos no cubren todas las situaciones del mundo. Frente a algo que no vio en el entrenamiento, el modelo extiende el patrón que aprendió y adivina; donde esa adivinanza se aleja de lo que queríamos, ahí falla la alineación.

También pesa que lo deseado cambia de persona a persona: ante la misma respuesta, uno la ve demasiado cautelosa y otro la ve peligrosa. Fijar el rumbo en una sola dirección ya es una elección.

Apuntar a la vara aleja del propósito

Para enseñar un rumbo hay que contar qué estuvo bien y qué estuvo mal, así que se arma una vara que da puntaje, y esa vara siempre es un sustituto del propósito: el modelo se optimiza hacia la vara, no hacia el propósito.

Si una respuesta amable recibe buen puntaje, el modelo aprende un tono amable. Hasta aquí, bien. Pero si a quien pone el puntaje le gustan más las respuestas que suenan bien que las respuestas correctas, el modelo se inclina a elegir lo que suena bien por encima de lo que es cierto.

Cuanto más se aleja la vara del propósito, más crece este desvío. Por eso, buena parte del trabajo de alineación no es corregir el modelo, sino volver a medir la vara: revisar qué respuestas se estaban puntuando bien.

Las palancas para fijar el rumbo

La primera palanca son los ejemplos. Mostrar muchísimas veces la forma de un pedido junto con la respuesta que le corresponde hace que el modelo capte el sentido de "a este pedido, respondo con este tono". Eso es lo que hace el ajuste por instrucciones.

La segunda palanca es la elección de las personas: se generan varias respuestas a la misma pregunta y una persona elige cuál le parece mejor; con esas elecciones se arma un marcador de puntaje y el modelo se ajusta hacia él. Así funciona RLHF (Reinforcement Learning from Human Feedback, aprendizaje por refuerzo con retroalimentación humana).

La tercera palanca son las reglas escritas: se dejan por escrito los principios que hay que seguir, y las respuestas se comparan contra ellos, ya sea que el propio modelo se autoevalúe o que se use en una revisión aparte. Las tres palancas se usan superpuestas.

Lo alineado por fuera y lo alineado por dentro

Obtener buen puntaje y estar alineado por dentro pueden no ser lo mismo: un modelo puede portarse bien solo en las situaciones del examen y comportarse distinto fuera de él. No es que engañe a propósito, sino que también aprende el patrón propio de esa situación de examen.

Por eso la revisión no se limita a los problemas ya conocidos: se generan situaciones nuevas sin parar, un equipo distinto trata de encontrarle grietas, y hasta durante el uso real se toman muestras para revisar de nuevo. Así, la alineación no es un estado terminado, sino un hilo que se sigue tensando.