Puntuación de confianzaConfidence Score

De dónde sale la puntuación

En el último paso de un modelo que clasifica, sale un valor por cada candidato. Estos valores no tienen un límite fijo, así que tal cual son difíciles de leer. Por eso se convierten todos en positivos y se dividen entre sí, ajustando las cosas para que la suma dé 1. El porcentaje que se ve en pantalla es ese resultado.

Aquí aparece una propiedad importante: como la suma da 1, alguien se tiene que llevar una puntuación alta por fuerza. Si los únicos candidatos son gato y perro, sea cual sea la foto, uno de los dos va a superar la mitad, no importa si en realidad es un auto o un papel tapiz.

Por eso una puntuación alta significa "esto se parece más a esta opción que a las demás", no "esto es lo correcto". Según quién sea el rival con el que se compara, la puntuación de la misma foto puede cambiar mucho.

El 80% puede no ser 80%

Si se reúnen solo los casos donde el modelo dio una puntuación de 90 y se cuenta cuántos acertaron de verdad, el resultado sorprende. Es habitual que no sean noventa, sino unos setenta. El modelo se ve a sí mismo mejor de lo que en realidad es; a esta costumbre se le llama exceso de confianza.

También pasa al revés. Un modelo entrenado con más cautela puede acertar en realidad noventa y cinco veces y aun así darse solo un 70. En cualquiera de los dos casos, si se lee el número tal cual, la decisión sale torcida.

Corregir esto exige contar cuántas veces acierta cada franja de puntuación y ajustar el número según ese conteo. Ese ajuste tiene su propio nombre y sus propias técnicas: basta con quedarse con la idea de que solo después de ese trabajo se puede leer un 80 como algo parecido a "ocho de cada diez veces".

Hasta lo que nunca aprendió recibe una puntuación

Este es el punto que exige más cuidado. Si a un modelo entrenado solo con gatos y perros se le pasa la foto de un auto, no sale un "no lo sé". Se elige uno de los dos, y hasta puede salir con una puntuación bastante alta. Es porque el modelo no pregunta "¿qué es esto?", sino solo "¿de los candidatos que aprendí, a cuál se parece más?".

Por eso es peligroso leer una puntuación alta como "lo sabe con certeza". Una puntuación alta ante algo que el modelo nunca vio puede ser, más bien, la señal de que no tiene ni idea de la situación. Para evitarlo, se agrega un candidato aparte para "ninguna de las anteriores", o se coloca un mecanismo separado que revise primero si la entrada cae dentro de lo que el modelo conoce.

Dónde poner la línea

En un servicio real, en vez de mostrar la puntuación tal cual, se traza una línea y solo se reacciona cuando se supera. Dónde se coloque esa línea cambia por completo el carácter del sistema.

Si la línea se pone baja, se dejan de perder menos casos, pero aumentan las respuestas equivocadas. Si se pone alta, bajan las respuestas equivocadas, pero también se filtran casos que sí eran correctos. Qué opción conviene lo decide el uso: donde pasar algo por alto es grave, conviene una línea baja; donde avisar algo por error es un problema, conviene una línea alta.

Dónde no conviene comparar puntuaciones

La puntuación que da un modelo y la que da otro no están medidas con la misma regla. Un 70 de un modelo puede ser más fiable que un 95 de otro. Para comparar dos modelos hay que mirar, sobre los mismos datos de prueba, cuántos aciertos tuvo cada uno en realidad, no la puntuación en sí.

Dentro de un mismo modelo también cambia el significado si cambia la situación. Con una foto oscura, borrosa o tomada desde un ángulo poco visto durante el entrenamiento, la puntuación puede salir mucho más alta de lo que corresponde a la exactitud real. La puntuación no es una calificación absoluta y fija: es un dato de referencia que vale para ese momento.