¿Qué es Explicabilidad? — una analogía

1La analogía

Dejas tu auto en el taller y la única respuesta que recibes es "son 300 dólares". Puedes pagarlo, pero te quedas incómodo. En el taller de al lado te entregan además una hoja. Ahí aparece, línea por línea, qué pieza cambiaron y cuánto costó, cuántas horas tomó el trabajo, y por qué había que cambiarla justo ahora.

Es el mismo monto, pero en este segundo caso puedes revisarlo. Si algo te parece raro, puedes señalar exactamente qué línea es, y también puedes ver qué conviene revisar la próxima vez. Con la hoja de detalle, el cliente termina viendo la misma pantalla que el mecánico.

Pedirle esa hoja de detalle a la IA es lo que se llama explicabilidad. En vez de soltar solo un resultado final, se le pide que despliegue, línea por línea, qué miró y cuánto pesó cada cosa para llegar a ese juicio.

2En detalle

Con un solo resultado no se puede reclamar nada

Lo que entrega la IA suele ser corto. Esta foto se parece más a tal cosa, este texto parece riesgoso, esta solicitud no cumple el criterio: una sola línea. Si ese juicio afecta a una persona, esa única línea no alcanza para nada. Ni siquiera se puede decir que está mal, porque no hay dónde señalar el error.

Cuando existe una razón detrás, se abren tres posibilidades. Se puede corregir un juicio equivocado, se puede revisar si el juicio se apoyó en una pista fuera de lugar, y se le puede decir a la persona afectada qué tendría que cambiar.

Muchas veces el problema solo sale a la luz cuando se abre esa razón. Por ejemplo, un modelo que estaba juzgando una foto de una herida en realidad se fijaba en la regla que siempre aparecía junto a la herida en las fotos de entrenamiento, o clasificaba un animal solo por el fondo nevado. Con la tasa de acierto sola, eso nunca se habría notado.

Marcar en qué se fijó para decidir

El método más común de explicación es marcar qué parte de la entrada pesó más en la decisión. En una foto, la zona que más se usó para decidir aparece resaltada; en una frase, cada palabra recibe un tamaño según cuánto influyó.

El cálculo suele medir algo como "si tapo esta parte, ¿cuánto se mueve el resultado?". Si al taparla el resultado cambia mucho, es que se le prestó mucha atención; si sigue igual, es que casi no importaba. Es un lugar parecido al de cada línea con su monto en la hoja del taller.

Esta marca dice dónde se fijó la IA, pero no dice del todo por qué interpretó eso de esa manera. La zona resaltada se ve, pero por qué se consideró riesgosa sigue siendo algo que la persona tiene que inferir.

Cambiar una sola condición

Otro método es preguntar qué pasaría si cambiara algo. Se deja todo igual menos un dato, y se vuelve a preguntar. Si al alargar solo el tiempo de antigüedad el resultado se invierte, entonces la antigüedad fue el dato que decidió el caso.

Este tipo de explicación es especialmente útil para quien recibe el juicio, porque responde menos a "¿por qué no?" y más a "¿qué tendría que haber sido distinto?". Una condición concreta se entiende mucho mejor que una lista vaga de razones.

Eso sí, la condición que se cambia tiene que ser algo que en la realidad se pueda cambiar. Decir "si esto hubiera sido distinto, habría pasado" sobre algo que la persona no puede modificar no consuela ni orienta a nadie.

La explicación puede no ser la razón real

Aquí aparece el punto donde hay que tener más cuidado. La mayoría de las explicaciones se calculan aparte, después de que el juicio ya se tomó. No son una copia exacta del cálculo que ocurrió dentro del modelo.

Por eso puede aparecer una explicación convincente pero falsa. Si le preguntas a una IA conversacional por qué respondió así, te da una razón que suena bien, pero esa frase también es el resultado de encadenar palabras plausibles. No es un reporte de lo que de verdad pasó por dentro.

Como hay varios métodos para generar explicaciones, un mismo juicio puede terminar con explicaciones distintas según el método. Lo más seguro es tratar la explicación como una pista, no como una prueba.

El camino de hacerlo legible desde el principio

En vez de pegar una explicación después, existe también el camino de construir el modelo para que se pueda leer directamente. Si las condiciones se ramifican como un árbol, o si cada elemento suma o resta un valor simple, el propio proceso de decisión ya funciona como hoja de detalle.

A cambio, en problemas complejos el rendimiento suele bajar un poco. Por eso, en la práctica, se suele usar el modelo más preciso y agregarle una explicación, o revisar solo las decisiones importantes con un modelo legible en paralelo.

Elijas lo que elijas, la última capa de seguridad sigue siendo una persona. La explicación solo sirve si hay alguien que pueda leerla, notar que la razón no cuadra y detener el juicio a tiempo.

3Con más precisión

Conviene separar la explicabilidad en dos ramas. Una es cuando la propia estructura del modelo se puede seguir a simple vista. La otra es cuando se examina desde afuera el juicio de un modelo ya construido; a esta segunda se le llama explicación posterior. Ahí entran métodos como tapar partes de la entrada y medir el cambio en el resultado, repartir un puntaje de contribución entre cada elemento, o construir un modelo simple que imite el comportamiento solo cerca de ese juicio puntual.

La analogía también tiene sus límites. La hoja del taller registra lo que el mecánico hizo de verdad, pero la explicación posterior es una reconstrucción hecha desde afuera. Si le preguntas de nuevo al mecánico, te da la misma respuesta; si cambias el método de explicación, el orden de las razones puede cambiar. Además, los ítems de la hoja son independientes entre sí, mientras que las pistas que mira un modelo suelen estar entrelazadas, así que es difícil recortar el peso exacto de una sola.

Que exista una explicación tampoco vuelve correcto el juicio. La explicación no garantiza la calidad del juicio; solo entrega algo que se puede examinar.

4Pruébalo

Explicación visual de una CNN ailearn.space Sube una foto y verás, capa por capa, qué patrones activaron la red, todo mostrado en imágenes

5Malentendidos comunes

Es fácil pensar que, si hay una explicación, se puede confiar en el juicio, pero en realidad un juicio equivocado con una explicación convincente puede ser incluso más peligroso.
Es fácil pensar que si le preguntas a la IA la razón, te dará la razón verdadera, pero en realidad esa respuesta también es el resultado de armar una frase que suena plausible.
Es fácil pensar que explicabilidad y precisión van de la mano, pero en realidad, cuanto más rinde un modelo, más complejo suele ser por dentro, y eso vuelve más difícil explicarlo.

7Resumen en una línea

En resumenLa explicabilidad es exigirle a la IA una hoja de detalle sobre su juicio, y esa hoja solo entrega algo que examinar, no una garantía de que el juicio sea correcto.

¿Te ayudó esta analogía?

¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02