Verdad de referenciaGround Truth

Sin un criterio no existe lo correcto ni lo incorrecto

Ya sea entrenando la IA o midiendo su rendimiento, junto a cada dato tiene que estar anotado qué era en realidad. Con esa respuesta se puede calcular, durante el entrenamiento, cuánto se alejó el resultado para corregir el rumbo, y después de terminar, contar cuántas veces acertó.

La exactitud, la precisión y la exhaustividad se apoyan todas sobre este criterio. Sin criterio no hay nada que calcular. Por eso, al hablar de evaluación, la verdad de referencia se atiende antes que la métrica.

De dónde viene el criterio

El método más común es que una persona revise los datos uno por uno y le asigne una respuesta. Ese trabajo es el etiquetado, y la verdad de referencia es justamente el resultado de ese trabajo.

También hay casos donde la respuesta ya está registrada de antemano, como el historial de fallas de un equipo o las mediciones que dejó un instrumento. Estos datos exigen menos mano humana, lo cual es una ventaja, pero traen el riesgo de que un día sin registro o una fila mal anotada terminen convertidos en el criterio, tal cual.

Cuando hay demasiados datos para que una persona los revise todos, se combinan otros métodos: asignar respuestas con reglas automáticas y que una persona revise solo una parte, o dejar que un modelo ya entrenado escriba un borrador que una persona corrige. Se ahorra trabajo, pero la calidad del criterio baja en la misma medida.

Cuando el criterio está torcido, todo se desvía en silencio

También la verdad de referencia trae errores. Porque el dato era ambiguo, porque quien lo anotó estaba cansado, o porque la guía era confusa. No es raro que, en un lote grande de datos, unos cuantos puntos porcentuales de las respuestas estén mal.

Este error trabaja dos veces: durante el entrenamiento hace que el modelo aprenda siguiendo la respuesta equivocada, y al calificar marca como incorrecto algo que en realidad estaba bien respondido. En bastantes casos donde el puntaje no sube por más que se retoque el modelo, la causa está justo aquí.

Por eso, cuando un punto tiene un puntaje sospechosamente bajo, antes de sospechar del modelo conviene volver a leer unas decenas de casos de esa verdad de referencia. Es el equivalente a hacer sonar de nuevo el diapasón.

Muchas veces no hay una sola respuesta posible

Si en una foto hay o no hay un gato, la respuesta es una sola. Pero si una frase es positiva o negativa, o cuál de dos resúmenes es mejor, cambia de una persona a otra.

En estos casos no se toma el juicio de una sola persona como la verdad de referencia. Se le da el mismo dato a varias personas y se toma como criterio la opinión mayoritaria, o se anota además cuánto se dividieron las opiniones. Si ni siquiera las personas coinciden más de seis veces de cada ocho, pedirle a la IA que supere ese nivel ya es pedir demasiado.

Cuando la tarea es generar texto nuevo, la respuesta correcta ni siquiera se puede escribir en una sola línea. Ahí se usan varias respuestas de referencia a la vez, o se reemplaza el criterio pidiéndole a una persona que compare directamente.

El criterio para calificar se guarda aparte, bajo llave

Los datos usados para entrenar y los que se van a usar para calificar se separan desde el principio. Si se califica con los mismos datos que se usaron para entrenar, lo que se mide es cuánto memorizó las respuestas, no cuánto aprendió de verdad.

Separarlos no siempre alcanza. Es común que el mismo contenido, solo con la forma cambiada, termine metido en los dos lados: una versión recortada de una foto en el entrenamiento y el original en la calificación, por ejemplo. Ese tipo de filtración infla el puntaje en silencio.