ROC y AUCROC & AUC
El rendimiento medido moviendo el umbral, resumido en curva y número
- Un modelo que separa dos clases no entrega la respuesta directamente. Alguien tiene que fijar aparte el umbral que decide "de aquí para allá, es esto".
- La curva ROC (Receiver Operating Characteristic, característica operativa del receptor) une, en una sola hoja, el rendimiento medido moviendo el umbral de punta a punta.
- Cuanto más se pega la curva hacia la esquina superior izquierda, mejor es el modelo. Una curva sobre la diagonal no sirve de nada.
- El AUC (Area Under the Curve, área bajo la curva) reduce esa curva a un solo número. Cuanto más cerca de 1, mejor, y 0,5 es como tirar una moneda al aire.
- Como no depende del umbral, es cómodo para comparar modelos, pero en datos donde una clase es muy poco frecuente sale más generoso de lo que debería.
Contenido
1La analogía
Hay varios cartones de leche en la heladera, todos con la fecha vencida hace unos días. Algunos siguen bien y otros ya se echaron a perder, pero como no se puede saber sin abrirlos, hay que decidir solo mirando la fecha.
Si se establece "apenas se pasa la fecha, se tira", nunca se toma leche echada a perder, pero se tira mucha que todavía estaba bien. Si se establece "se guarda hasta una semana", casi no se tira ningún cartón, pero se termina tomando leche vencida. Ninguna regla es la correcta: según en qué día se ponga el límite, lo que se gana y lo que se pierde se intercambian.
Por eso no se prueba un solo criterio. Si se corre el límite día por día, desde ningún día vencido hasta diez días después, y en cada fecha se anota cuántos cartones echados a perder se filtraron y cuántos buenos se tiraron, toda la naturaleza de esta decisión queda resumida en una sola hoja.
2En detalle
El umbral no lo fija el modelo, lo fija una persona
Lo que entrega un modelo que separa clases no es "esto" o "aquello", sino un puntaje que indica qué tan probable es cada opción. Que ese puntaje cruce cierta línea para llamarlo "esto" lo decide una persona. Esa línea es el umbral.
Si se baja el umbral, se llama "esto" hasta a lo dudoso: aumenta lo que se encuentra, pero también se atrapa lo que no era. Si se sube, solo se llama a lo seguro: baja lo atrapado por error, pero aumenta lo que se deja escapar. Es lo mismo que mover la fecha límite hacia adelante o hacia atrás.
Por eso un puntaje medido con un solo umbral fijo es apenas el rendimiento en ese umbral. Para saber qué tan bien separa el modelo en sí, hay que recorrerlo entero, no quedarse mirando con el umbral fijo.
Un punto por cada umbral; unidos, forman una curva
Se pone el umbral en el punto más bajo posible y se miden dos cosas: cuántos de los que de verdad eran "esto" se encontraron, y cuántos de los que eran "aquello" se atraparon por error. Con esos dos valores como coordenadas se marca un punto.
Se sube un poco el umbral, se vuelve a medir y se marca otro, y así hasta el final: los puntos quedan en fila y la línea que los une es la curva ROC. La esquina inferior izquierda es no atrapar nada; la superior derecha, atraparlo todo.
La curva de un buen modelo se pega hacia arriba a la izquierda: existe un umbral donde casi no se atrapa nada por error y aun así se encuentra todo. Si se acuesta sobre la diagonal, en cambio, se pierde tanto como se gana con cualquier umbral, y no sirve de ayuda.
Reducir la curva a un solo número
La curva trae mucha información, pero resulta incómoda para comparar varios modelos entre sí. Por eso se mide el área que queda debajo y se reduce a un solo número: eso es el AUC. Cuanto más se pega la curva a la esquina superior izquierda, más grande es esa área, así que a mayor valor, mejor separa el modelo.
Este número tiene un significado fácil de entender: si se toma al azar un caso de "esto" y otro de "aquello", el AUC es la probabilidad de que el modelo le dé un puntaje más alto al de "esto". Con 0,9, acierta el orden nueve de cada diez veces.
El 0,5 es como tirar una moneda al aire: no aporta información. Si el valor baja de 0,5, hay que leerlo al revés, y eso suele ser señal de que algo salió mal.
Cuidado con dónde sale más generoso de lo que debería
El AUC es cómodo porque no hace falta elegir un umbral y su valor no se sacude mucho aunque cambie la proporción entre clases. Pero esa misma ventaja se convierte en trampa cuando lo que hay que encontrar es muy poco frecuente.
En un problema donde hay que encontrar diez casos entre diez mil, aunque se atrapen por error cien de los otros nueve mil novecientos noventa, la proporción de error parece muy chica: la curva sigue pegada arriba a la izquierda y el AUC sale alto. Pero en la práctica hay que revisar cien casos por error para encontrar diez de verdad, y eso no es útil.
En estos casos conviene mirar junto otra curva armada solo con la clase que hay que encontrar, con la proporción de acierto entre lo señalado y la proporción de lo realmente encontrado como ejes. Donde el lado poco frecuente es el protagonista, esta curva se comporta de forma mucho más honesta.
3Con más precisión
Los dos ejes de la curva ROC tienen nombres fijos. El eje vertical es la proporción de encontrados entre los que de verdad eran "esto", y se llama exhaustividad. El eje horizontal es la proporción de atrapados por error entre los que de verdad eran "aquello". Como los dos se calculan dentro de cada grupo por separado, la forma de la curva no se sacude mucho aunque cambie la proporción de cantidades entre los dos grupos.
Hay un punto donde la analogía se queda corta: la leche se juzga con un solo valor, la fecha, pero un modelo mira muchos datos a la vez. Aun así el paralelo importa, porque ni la fecha ni el puntaje son la respuesta correcta en sí, sino un valor que la representa. Que la curva se pegue arriba a la izquierda quiere decir que ese valor representativo sirve.
También conviene no elegir un modelo mirando solo el AUC: dice qué tan bien ordena, pero no si el puntaje se puede creer como una probabilidad. Usarlo de verdad exige fijar un umbral, comparando el costo de dejar escapar algo contra el de atraparlo por error.
4Pruébalo
5Malentendidos comunes
Es fácil pensar que un AUC alto significa que el modelo acierta directamente, pero en realidad solo quiere decir que ordena bien, y con un umbral mal elegido la cantidad de aciertos puede ser pésima igual.
Es fácil pensar que un AUC de 0,5 significa la mitad de rendimiento, pero en realidad quiere decir que no hay ninguna información, un estado equivalente a tirar una moneda al aire.
Es fácil pensar que la curva ROC se puede creer en cualquier problema, pero en realidad, cuando lo que hay que encontrar es muy poco frecuente, muestra un panorama más generoso de lo que es en realidad.
7Resumen en una línea
En resumenLa curva ROC une, en una sola hoja, el rendimiento medido moviendo el umbral de punta a punta, y el AUC reduce esa curva a un solo número que permite comparar modelos entre sí.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02