Barreras de seguridadGuardrails

Se instalan por fuera del modelo, no por dentro

Para que la IA rechace una solicitud peligrosa, actúan dos cosas a la vez. Una es la tendencia que aprendió durante el entrenamiento. Esto está dentro del modelo y no se puede abrir ni apagar a voluntad. La otra es el dispositivo que el servicio instala por fuera, y este sí se puede ver como una regla, activar, desactivar o modificar.

Las barreras de seguridad se refieren a esto último. Como están por fuera, se mantienen aunque se cambie el modelo, y cuando algo falla se puede señalar con claridad qué parte corregir. Es como la cerca y la colchoneta, que están siempre en el mismo lugar sin importar quién venga a jugar.

La tendencia interna y el dispositivo externo no se reemplazan entre sí: la tendencia se tambalea según el contexto, y el dispositivo no siempre capta el matiz fino de las palabras. Por eso se colocan uno encima del otro.

Una revisión a la entrada, otra a la salida

La revisión de la solicitud que entra mira si esa solicitud cae dentro de un área que el servicio decidió no atender. Si algo se detiene aquí, ni siquiera llega al modelo y sale un mensaje explicativo. Es rápida y barata, pero si el riesgo no se nota en la redacción, se le puede escapar.

La revisión de la respuesta que sale mira si hay algún problema en lo que ya se generó: la solicitud era normal pero la respuesta se desvió, o el material consultado resultó problemático. A cambio, toma más tiempo, porque la respuesta ya está completa, y aparece la incomodidad de retirar a mitad de camino algo que ya se estaba mostrando.

Las dos revisiones fallan en lugares distintos. Una mira la intención; la otra, el resultado. Por eso es poco común que un servicio tenga solo una de las dos.

Reducir lo que la IA puede hacer es la cerca más firme

Una revisión basada en palabras siempre tiene alguna rendija. Si se cambia la forma de decir algo, puede pasar sin ser detectado, y si se hace demasiado estricta, empieza a bloquear también expresiones normales. En cambio, lo que la IA sencillamente no puede hacer no se puede lograr con ninguna redacción.

Por eso, en la práctica, la barrera más sólida suele estar del lado de los permisos: darle a la IA solo las herramientas que necesita, no otorgar permiso de escritura donde solo hace falta leer, y colocar una confirmación humana antes de cualquier acción irreversible. Por bien redactada que esté una frase, no puede mover una mano que no existe.

En la misma categoría entra el poner una cinta alrededor de un juego roto. Si se instala de antemano un interruptor que apague de inmediato una función en cuanto aparece una señal rara, el daño se detiene mientras se repara.

Si se instala demasiado estrecha, se deja de poder jugar

Cerrar demasiado la cerca tiene un costo. Preguntas sobre seguridad, explicaciones generales sobre medicina o derecho, obras creativas donde aparece violencia: solicitudes normales quedan atrapadas junto con las que sí eran un problema. A esto se le llama rechazo excesivo, y parece seguro por fuera, pero trae dos problemas: el servicio pierde utilidad, y la gente termina yéndose a otros canales sin ninguna revisión.

Por eso, al evaluar estas barreras siempre se miran dos números juntos: cuánto se bloqueó de lo que debía bloquearse, y cuánto de lo que no debía. Si solo se mira uno de los dos, el otro termina cayéndose sin remedio.

Comprobar que la cerca sigue en pie

Instalar una cerca y que esa cerca realmente aguante son dos cosas distintas. Puede pasar que una regla escrita en la documentación falte en el código, o que al agregar una función nueva se salte por descuido una revisión. Por eso se reserva un proceso aparte, hecho por personas distintas de quienes construyeron el sistema, para intentar cruzarla a propósito.

Esa comprobación es el red teaming. Si las barreras son el lado que se instala de antemano, el red teaming es el lado que intenta cruzarlas, y las dos tareas funcionan en pareja: cuando ese ejercicio encuentra un punto débil, ese caso se vuelve el material con el que se construye la siguiente cerca.