Precisión y exhaustividadPrecision & Recall

El montón de abajo es distinto

El número de arriba de las dos proporciones es el mismo: la cantidad de aciertos verdaderos. Lo que cambia es el de abajo.

La precisión pone debajo a todo lo que se eligió. Por eso, si suben las elecciones hechas en vano, el valor baja. La exhaustividad pone debajo a todo lo que de verdad era positivo. Por eso, si suben los casos que se dejaron escapar, el valor baja.

Por esta diferencia, mirar solo una de las dos puede engañar fácilmente. Si el arco suena con todas las mochilas, no se deja pasar ninguna, así que la exhaustividad es del cien por ciento. Si, al revés, solo suena con una mochila que es segurísima, la precisión es del cien por ciento. Ninguno de los dos arcos sirve de nada.

Una sola perilla mueve las dos a la vez

La IA suele entregar un puntaje, algo como "0,8 de probabilidad de que sea metal", y cuando ese puntaje pasa cierta línea, se decide que sí. Esa línea es la perilla de sensibilidad.

Si se baja la línea, se termina eligiendo hasta lo dudoso, así que se dejan escapar menos casos pero se pica en vano más seguido. La exhaustividad sube y la precisión baja. Si se sube la línea, solo se eligen los casos seguros, así que se pica en vano menos veces pero se dejan escapar más.

Por eso decir "un modelo con tanto por ciento de precisión" es una frase a medias. Hace falta saber en qué línea se cortó, y solo moviendo esa línea de un lado a otro y dibujando cómo se mueven las dos proporciones se ve la verdadera capacidad del modelo.

El criterio es qué duele más

Cuál de las dos proporciones conviene subir no lo decide la técnica, sino la situación.

En tareas donde dejar pasar algo es muy peligroso, se prioriza la exhaustividad. Un caso en vano se puede resolver con una segunda revisión, pero lo que se deja escapar ya nadie lo vuelve a mirar. Ahí entran la revisión de objetos peligrosos o detectar señales tempranas de una falla en una máquina.

Al revés, en tareas donde cada elección exige mucho trabajo humano, se prioriza la precisión. Si suben los casos en vano, la persona a cargo se cansa y termina ignorando las alertas por completo. Ahí entran filtrar spam o separar de un montón de documentos solo los que hacen falta.

Las dos cifras se muestran juntas

Por eso en las tablas de evaluación las dos se anotan una al lado de la otra. Una tabla con una sola de las dos se lee como una señal de que la otra puede estar hundida.

Cuando se quieren juntar las dos en un solo número se usa el puntaje F1. Pero al juntarlas se pierde de vista cuál de las dos era baja y por qué salió ese puntaje, así que es mejor mostrar el puntaje combinado junto con los dos valores originales.

Si hay varias categorías, se mide categoría por categoría

Cuando hay tres o más categorías a distinguir, las dos proporciones se calculan por separado para cada una. Es común que se acierte muy bien con una categoría y casi nada con otra, y si solo se mira un promedio general, esa diferencia queda escondida.

En particular, las categorías con pocos ejemplos en los datos tienden a tener una exhaustividad más baja. Conviene acostumbrarse a abrir la tabla por categoría y empezar a mirar por la fila más baja.