¿Qué es Caja negra? — una analogía

1La analogía

Metes las sobras en un triturador de residuos, cierras la tapa y aprietas el botón. Un rato después sale un polvo seco. Qué tanto se movió por dentro y cómo, no se puede ver: la tapa no tiene ventana, y si la abres para mirar, la máquina se detiene.

Aun así, usarlo no da ningún problema. Comparando lo que entra con lo que sale, te haces una idea aproximada de cómo funciona la máquina: que tarda más los días que metes algo húmedo, que la cáscara casi no se muele bien, y así vas conociendo sus mañas.

El problema aparece el día raro. Cuando el polvo sale distinto de lo normal, no hay forma de abrir la tapa y señalar en qué paso se torció. Solo queda ir sacando lo que metiste, uno por uno, y adivinar. La frustración de llamar caja negra a la IA es exactamente esta.

2En detalle

No es que lo escondan, es que no se puede leer

La palabra caja negra se malentiende fácil, como si la empresa lo guardara en secreto. En realidad, quien la construyó está en la misma situación. Adentro del modelo hay entre cientos de millones y billones de números fijados por el entrenamiento, y a cada uno de esos números no se le puede poner un nombre que diga "esto significa tal cosa".

El orden de los cálculos sí está publicado. Cuántas capas tiene, en qué orden se multiplica y se suma, todo eso figura en el diseño. Pero leer todo ese diseño no responde a "¿por qué clasificó esta foto de esta manera?". El juicio no sale de un solo número, sino de la combinación de cientos de millones de ellos a la vez.

Las personas también tienen algo parecido. Es difícil explicar punto por punto por qué reconociste una cara conocida. La diferencia es que una persona puede ponerle palabras a la razón después, aunque sea a posteriori, y esa razón se puede volver a preguntar. El modelo no tiene esa boca aparte para hablar.

Golpear desde afuera

Si no se puede ver por dentro, no queda otra que medir desde afuera. La base es cambiar un poco la entrada y ver cómo cambia el resultado. Tapar una esquina de la foto, quitar una palabra de la frase, meter un valor distinto en un solo dato: ese tipo de pruebas.

Si al taparla el juicio se da vuelta, es que esa parte pesaba mucho. Si tapada el juicio sigue igual, es que casi no la miraba. Juntando muchos resultados así, se dibuja un mapa aproximado.

Con este método también se pueden pescar mañas. Si al cambiar solo el fondo el juicio se tambalea, es señal de que no estaba mirando lo que de verdad importaba. Confiar solo en que la exactitud sea alta puede llevar, más adelante, a un desvío grande, y este método lo filtra a tiempo.

Dónde se vuelve un problema

No toda caja negra es un problema. Si el lugar es ordenar fotos solas o recomendar música, que no se vea el interior no molesta demasiado: si se equivoca, es una molestia pasajera y ya.

El problema aparece donde el juicio toca la vida diaria de una persona: cuando un documento queda descartado, cuando alguien queda marcado como riesgoso, cuando un resultado de examen se invierte. Sin un "por qué", nadie puede reclamar. Quien recibió el juicio no sabe qué corregir, y quien opera el sistema no sabe qué arreglar.

Ahí también nace el problema de la responsabilidad. Si no se puede explicar la razón, es difícil decidir de quién es la falla. Por eso, en los juicios importantes, se deja siempre un punto donde una persona revisa el resultado.

Formas de entreabrir la tapa

Hoy en día también hay investigación que trata de abrir la tapa de verdad. Se busca a qué patrón reacciona con fuerza el valor de una capa interna, se aíslan los puntos que reaccionan a un concepto específico y se comprueba si al presionar ese punto cambia la respuesta.

Ya se acumulan hallazgos pequeños. Se comprobó, con imágenes, que las capas de adelante reaccionan a patrones simples como líneas o colores, y las de más atrás, a estructuras mucho más complejas. Aun así, estas observaciones no alcanzan a explicar el juicio completo del modelo.

Que no se vea el interior no significa que no se pueda examinar. Medir con qué frecuencia acierta, en qué situaciones falla, cómo se tambalea al cambiar las condiciones, ya deja saber bastante.

3Con más precisión

Caja negra no describe un tipo de modelo, sino la posición de quien observa. El mismo modelo puede ser una caja medio abierta para alguien que puede sacar todos los valores internos, y una caja completamente cerrada para quien solo lo usa desde la pantalla. Incluso un modelo con los pesos publicados no revela por qué llegó a una respuesta, así que estar abierto y ser opaco son dos cosas distintas.

La analogía también tiene sus límites. Quien diseñó el triturador conoce todo lo que pasa adentro, y al abrir la tapa se ven las piezas. En el modelo, aunque se abra la tapa, solo se ve una tabla de números, y hasta quien lo construyó tiene que reconstruir la razón de un juicio en particular. Además, el triturador da siempre el mismo polvo con la misma entrada, pero un modelo generativo puede dar respuestas un poco distintas ante la misma pregunta.

Caja negra no es el nombre de algo malo, sino una condición con la que hay que trabajar. El problema real es cómo, partiendo de que el interior no se ve, se construyen la revisión, el registro y la mirada de una persona.

4Pruébalo

CNN Explainer (visualización de una red neuronal convolucional) ailearn.space Despliega las capas internas, normalmente ocultas, y comprueba con tus propios ojos a qué reaccionan

5Malentendidos comunes

Es fácil pensar que la caja negra es algo que la empresa esconde a propósito, pero en la práctica ni siquiera quien la construyó puede leer de inmediato la razón de un juicio en particular.
Es fácil creer que, si se publica el diseño, deja de ser una caja negra, pero en la práctica conocer la estructura no revela por qué salió esta respuesta, y eso sigue habiendo que averiguarlo aparte.
Es fácil pensar que, si no se ve el interior, tampoco se puede examinar, pero en la práctica con solo variar la entrada y medir se pueden descubrir bastantes mañas y puntos débiles.

7Resumen en una línea

En resumenCaja negra describe un estado donde solo se ve lo que entra y lo que sale, y aun sin ver el interior, se puede golpear desde afuera, dejar registro y sumar la revisión de una persona.

¿Te ayudó esta analogía?

¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02