Métrica de evaluaciónEvaluation Metric
El criterio fijado de antemano para decidir qué cuenta como bueno
- La métrica de evaluación es el criterio que se fija de antemano para decidir qué se mide y qué cuenta como bueno. Elegir el criterio va antes que medir.
- Con el mismo modelo, el orden se puede dar vuelta según qué métrica se use. Decir que algo "funciona bien" siempre trae un paréntesis atado.
- Mirar una sola métrica hace que el modelo se acostumbre justo a esa métrica. Por eso se vigilan varias a la vez.
- La métrica elegida también decide qué se va a corregir. Lo que no se mide no se arregla.
- Lo fácil de medir y lo que en verdad se busca no siempre son lo mismo, y hay que leer los números sabiendo que existe esa distancia.
Contenido
1La analogía
Cuando llevas el auto a la revisión técnica, el inspector no te dice si el auto es bueno o no. En cambio, saca una planilla con una lista de puntos. Mide por separado cuánta fuerza tiene el freno, si el gas de escape está dentro del límite, si los faros superan el brillo mínimo y si hay corrosión debajo.
Por eso, al recibir la planilla, en la mano queda un número por cada punto, no un veredicto de "bueno". Un auto que frena bien y uno que contamina poco pueden ser autos distintos, y según qué casilla se mire primero, el mismo auto puede pasar por bien hecho o por un auto que hay que reparar.
La métrica de evaluación es una de esas casillas de la planilla. Decir que la IA "funciona bien" tampoco significa nada por sí solo: hace falta decir además qué casilla se decidió medir.
2En detalle
Elegir el criterio va primero
El taller decide qué va a medir hoy antes de subir el auto al elevador. Solo una vez que los puntos están definidos se puede conectar el equipo y trazar el límite. Con la IA el orden es igual. Antes de empezar a entrenar hay que decidir primero qué se va a medir para llamarlo un buen resultado.
Saltarse este orden trae problemas. Si el criterio se elige después de tener todo listo, aparece la tentación de elegir la métrica en la que mejor sale el puntaje: cambiar solo la métrica mientras se mira el mismo resultado, buscando el número que se vea mejor, no es medir, es elegir.
La métrica fijada de antemano guía la dirección durante todo el proceso. En ella queda anotado hacia dónde hay que corregir para mejorar, así que la métrica se convierte en el objetivo mismo.
Cada punto cambia lo que significa "funcionar bien"
Comparemos dos autos. Uno frena de maravilla pero contamina mucho; el otro contamina poco pero frena con lo justo. No hay una respuesta única sobre cuál es mejor. Si se maneja mucho de noche, el punto de los faros importa más; si se pasa seguido por una zona escolar, importa más el freno.
Con la IA pasa lo mismo. Detectar algo importante sin dejarlo pasar y no dar falsas alarmas son dos cosas distintas, y a veces subir una hace bajar la otra: por eso la exactitud, la precisión y la exhaustividad se tratan como métricas separadas.
Por eso, al mirar una tabla de clasificación, primero hay que fijarse con qué métrica se ordenó. No es raro que, al cambiar de métrica, el primer y el tercer lugar intercambien posiciones.
Mirar un solo punto acostumbra al modelo a ese punto
Si el taller solo revisara el gas de escape, quien fabrica el auto podría ajustarlo para que contamine poco justo en esa situación de prueba. Pasa la inspección, pero en la carretera real es otra cosa. Dejar un solo criterio hace que cumplir ese criterio termine reemplazando al objetivo real.
Con la IA sucede lo mismo: si se le pide subir un solo número, el entrenamiento se inclina exactamente hacia ese número. Con una métrica que premia respuestas cortas, las respuestas se acortan cada vez más; con una que premia elegir la opción más frecuente, el modelo termina eligiendo siempre esa opción.
Por eso, en la práctica, se vigilan varios puntos a la vez. Se fija una métrica principal para marcar el rumbo, y al lado se colocan otras métricas que cuidan lo que esa métrica principal podría terminar arruinando.
Lo que no se mide no se corrige
Un punto que no está en la planilla, nadie lo revisa. Si un asiento está flojo pero no figura en la lista, en el taller no pasa nada. Con las métricas ocurre lo mismo. Solo mejora lo que se mide, y lo que no se mide puede empeorar en silencio sin que nadie lo note.
Por eso, al elegir una métrica conviene partir de lo que en verdad se busca, no de lo más fácil de medir. Si la respuesta fue útil o si la persona volvió a usarla son cosas difíciles de convertir en número, pero están más cerca del objetivo real, y conviene no olvidar que un número fácil usado como sustituto solo hace de doble del objetivo.
Elegir la métrica tampoco es algo que se termina de una sola vez. Si cambian quienes la usan y la situación, también hay que revisar la lista de puntos.
3Con más precisión
La métrica de evaluación es una regla que resume en un número la comparación entre lo que produjo el modelo y la respuesta correcta. Cambia según la tarea: para clasificar se usan métricas del tipo de la proporción de aciertos; para acertar un número, métricas que miden qué tan grande es el error; y para generar texto, a veces un puntaje asignado por una persona o por otro modelo. Como medir con datos mezclados con los del entrenamiento infla el número, la regla es medir siempre con datos que no se tocaron durante el entrenamiento.
La analogía también tiene sus límites. La revisión técnica tiene un umbral de aprobación que fija el país, pero las métricas de IA no tienen un estándar absoluto así. Incluso midiendo con la misma métrica, el número cambia mucho según con qué datos se midió, así que números de fuentes distintas no se pueden comparar directamente. Para que un número sirva para comparar, hace falta anotar junto a él con qué datos y en qué condiciones se midió, no el número solo.
También conviene distinguir la métrica de la función de pérdida. El castigo que guía el entrenamiento y la nota que lee una persona al final son números distintos. A veces no apuntan en la misma dirección, y entonces puede pasar que el castigo baje mientras la nota final se queda igual.
4Pruébalo
5Malentendidos comunes
Es fácil pensar que un puntaje alto en la métrica significa un buen modelo, pero en realidad el puntaje del mismo modelo cambia mucho según qué punto se midió y con qué datos.
Es fácil creer que la métrica solo mide el resultado, pero en realidad qué se decidió medir determina también hacia dónde va el entrenamiento y qué se termina corrigiendo.
Es fácil pensar que basta con elegir bien una sola buena métrica, pero en realidad, si solo se mira una, el modelo se acostumbra únicamente a esa, así que conviene vigilar otros puntos al mismo tiempo.
7Resumen en una línea
En resumenLa métrica de evaluación es el paréntesis que acompaña a la palabra "funciona bien", y qué casilla se decidió medir es lo que termina definiendo en qué se va a destacar el modelo.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02