LLM como juezLLM-as-a-Judge
Un modelo de lenguaje que puntúa qué tan buena es una respuesta
- LLM como juez es un método donde, en lugar de una persona, es un modelo de lenguaje quien lee la respuesta y le pone una nota o decide quién gana.
- Su ventaja es la velocidad y el costo. Puede calificar decenas de miles de casos en pocas horas, así que se puede repetir todas las veces que haga falta.
- Pero tiene manías. Prefiere las respuestas largas, las que aparecen primero, un tono seguro de sí mismo y un estilo parecido al suyo.
- Por eso no se confía en el resultado tal cual. Se compara con lo que calificó una persona en los mismos casos para ver cuánto coinciden.
- Su lugar está bien definido. Sirve para revisar seguido durante el desarrollo, pero para dar un veredicto final hace falta evaluación humana.
Contenido
1La analogía
Para coser hay dos tipos de reglas. Una es la regla metálica, recta y rígida. Su escala no se estira ni se encoge, así que el valor que marca se puede creer sin dudar. A cambio, tiene un largo fijo y es difícil apoyarla sobre una curva, así que hay que acomodarla varias veces para medir una sola pieza.
La otra es la cinta métrica de tela que se enrolla y se guarda en el bolsillo. Se puede usar en cualquier lugar y da el valor al instante. El problema es que una cinta de tela ya usada se ha estirado un poco, y siempre marca menos de lo real. LLM como juez es esa cinta de tela.
Una cinta estirada tampoco es para tirar a la basura. Para un trabajo que exige medir cientos de veces al día, no hay otra opción. Lo que sí hay que hacer de vez en cuando es compararla con la regla metálica y anotar cuánto se desvía. Usarla sin saber cuánto se desvía y usarla sabiéndolo son dos cosas completamente distintas.
2En detalle
Cómo se le pide que califique
El método más simple es mostrarle una sola respuesta y pedirle una nota. Se le entrega junto una lista de qué debe revisar, y contesta cuántos puntos merece cada punto. Es fácil de armar, pero la escala tiembla: si se le vuelve a pasar la misma respuesta, la nota cambia un poco, y en general se inclina hacia el lado generoso.
Un método más estable es mostrarle dos respuestas juntas y pedirle cuál es mejor. No hace falta una escala absoluta, así que el resultado sale mucho más parejo. Si además se le pide que escriba primero el razonamiento y recién después dé el veredicto, la precisión sube de forma notable. Cuando primero se le pide el veredicto y luego la razón, la razón termina siendo una excusa.
Si el problema tiene una respuesta correcta conocida, entregársela junto con la pregunta también ayuda. El modelo que califica ya no depende de lo que sepa por su cuenta, sino que solo compara, y el veredicto se vuelve mucho más firme incluso en temas que no domina.
Cuatro manías de una escala estirada
La primera es el largo. Hay una tendencia clara a puntuar mejor las respuestas extensas. Aunque el contenido sea el mismo, estirar los párrafos hace subir la nota.
La segunda es el orden. Es común que prefiera la respuesta que se le mostró primero entre dos opciones. Por eso se le pregunta dos veces cambiando el orden, y solo se acepta el resultado cuando elige el mismo lado las dos veces.
La tercera es el parecido. Favorece a las respuestas con un estilo similar al suyo propio. Cuando el modelo que califica y el que fue calificado pertenecen a la misma familia, este problema se agranda.
La cuarta es el tono. Las frases dichas con seguridad reciben notas más generosas. Puede pasar que una respuesta correcta pero cautelosa pierda frente a una equivocada pero tajante.
Medir cuánto se desvía
Estas manías no se pueden eliminar. Lo que sí se puede es saber cuánto pesan. El método es simple: se hace calificar a una persona unos cientos de casos primero, se le pasan los mismos casos al modelo, y se cuenta cuánto coinciden los dos resultados.
Si el porcentaje de coincidencia es alto, de ahí en adelante se puede dejar correr el proceso automático con tranquilidad. Si es bajo, antes de culpar al modelo conviene revisar la lista de criterios: si hasta las personas discrepan en ese punto, el modelo también va a discrepar.
Tampoco es algo que se ajuste una sola vez y quede resuelto para siempre. Si cambia el modelo que califica o cambia el tema que se trata, el grado de desvío cambia por completo. Es como tener que volver a comparar la cinta contra la regla cada vez que se compra una nueva.
Dónde usarlo y dónde no
El lugar donde funciona bien es la revisión repetida durante el desarrollo. Cada vez que se ajusta un poco el prompt hay que volver a calificar miles de casos para ver qué versión mejoró, y para eso no se puede llamar a una persona. También sirve bien como una red que filtra fallas evidentes.
Donde conviene tener cuidado es en las notas que salen al público. Cuando el modelo que califica y el que fue calificado son de la misma familia, y cuando ese puntaje se va a usar con fines de promoción, lo correcto es dejar el veredicto en manos de una persona. Lo mismo aplica a decisiones donde equivocarse sale caro, como cuestiones de seguridad o verificación de hechos.
3Con más precisión
Decir que LLM como juez reemplaza la evaluación humana no es exacto. Lo que este método imita es "cómo habría calificado una persona", y ese criterio sigue viniendo de la evaluación humana. Un juicio del que nunca se midió cuánto coincide con el humano es como una cinta a la que nunca se le revisó la escala: da un número, pero no se sabe qué significa ese número.
También hay un punto donde la analogía se queda corta. Una cinta estirada siempre se desvía en la misma dirección, así que el valor se puede corregir. Las manías del modelo, en cambio, cambian según el tema y el estilo. En un área puede dar veredictos casi idénticos a los de una persona y en otra elegir algo completamente distinto. Por eso no basta con mirar un solo porcentaje de coincidencia general: hay que revisarlo desglosado por área.
Cuando el resultado de la calificación se vuelve a usar para entrenar, aparece un problema más. Si el modelo aprende de nuevo las respuestas que a él mismo le gustan, esa manía no desaparece, se profundiza. En ese caso hace falta la salvaguarda de mezclar una porción fija de datos calificados por personas.
4Pruébalo
5Malentendidos comunes
Es fácil pensar que un modelo califica de forma más consistente que una persona, pero en realidad la nota se mueve si se le pasa otra vez la misma respuesta, y también según el orden en que se muestran las opciones.
Es fácil pensar que usar un modelo mejor resuelve el problema, pero en realidad, aunque suba el rendimiento, la manía de preferir el largo y el tono seguro se mantiene igual.
Es fácil pensar que una nota alta significa que a una persona también le va a gustar, pero en realidad no se puede saber sin medir antes cuánto coinciden los dos resultados.
7Resumen en una línea
En resumenLLM como juez es un método para obtener calificaciones rápidas y baratas dejando el trabajo en manos de un modelo de lenguaje, y como tiene manías que se dejan llevar por el largo, el orden y el tono, hay que medir cuánto coincide con la evaluación humana antes de confiar en él.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02