ResponsabilidadAccountability

Varias manos tocan el mismo resultado

Detrás de un solo resultado de la IA suelen estar enredadas tres partes: quien reunió los datos y entrenó el modelo, quien le puso instrucciones y una pantalla y lo vendió como servicio, y quien lo trajo a su propio trabajo.

Cada una controla un margen distinto. Quien lo construyó sabe qué entró en el entrenamiento y qué límites tiene. Quien lo vende decide para qué uso lo recomienda y si instaló algún filtro para peticiones peligrosas. Quien lo usa decide en qué tarea lo colocó y si una persona revisó el resultado antes de enviarlo. Lo que cada parte pudo controlar es, a la vez, lo que le toca responder.

Por eso, ante el mismo error, a quién preguntar cambia según en qué punto se torció todo. Si se colocó desde el principio en un uso para el que no servía, no es un problema de rendimiento de quien lo construyó; y si se usó dentro del uso recomendado y aun así salió una respuesta descabellada, tampoco se puede culpar solo a quien lo usó.

Sin registro no hay a quién preguntar

Repartir la responsabilidad suele consistir en revisar registros. Hace falta saber qué petición entró, en qué datos se apoyó, con qué configuración se ejecutó y quién recibió el resultado y qué hizo con él, para poder señalar la causa.

Sin ese registro pasa algo raro. Cuando surge un problema, nadie puede mostrar qué pasó en su propio tramo, así que cada parte solo señala a la otra y nada se corrige. Lo único que queda es la discusión, y el mismo problema vuelve a aparecer.

Con el registro la historia cambia. Se ve en qué punto se torció y ahí se puede intervenir. El registro no se guarda para castigar a alguien, sino para que no vuelva a pasar.

Una revisión que solo existe en el papel

En muchos lugares hay un procedimiento que dice "una persona revisa el resultado". Pero si llegan cientos de casos al día y casi todos están bien, revisar se convierte en costumbre. Cuando el gesto se reduce a pasar la pantalla y pulsar un botón, el procedimiento solo conserva el nombre.

Lo peligroso aquí no es tanto que el resultado sea incorrecto, sino que parece que la responsabilidad ya se trasladó. En el formulario figura el nombre de una persona, así que en el papel alguien decidió; pero en realidad nadie decidió nada.

Para que la revisión funcione hace falta crear condiciones donde revisar sea posible de verdad: reducir cuánto se revisa de una vez, mostrar junto al resultado la base en la que se apoya, o exigir revisión solo en lo que no se puede deshacer. Si se pide revisar todo, al final no se revisa nada.

Repartir de antemano evita discusiones

Repartir la responsabilidad después de que algo pasó siempre llega tarde. Los lugares que funcionan bien lo definen antes de empezar: para qué se va a usar la herramienta, para qué no, qué resultados debe ver obligatoriamente una persona y quién tiene autoridad para detenerlo todo si algo falla.

A eso se suma algo más: avisar a quien recibe el resultado de que la IA estuvo involucrada. Si la otra parte no lo sabe, aunque algo le resulte raro no se le ocurre preguntar. Avisarlo suma un par de ojos externos que puede detectar el error primero.