탈옥Jailbreak

거절은 잠금이 아니라 성향이에요

AI가 어떤 요청을 거절할 때, 안에서 자물쇠가 철컥 잠기는 게 아니에요. 무엇을 도와야 하고 무엇을 거절해야 하는지를 아주 많은 예시로 배워서, 비슷한 상황에서 거절 쪽으로 기우는 성향이 몸에 밴 거예요. 성향은 확률이라서 문맥이 달라지면 기울기도 달라져요.

그래서 같은 요청도 어떤 이야기 안에 놓이느냐에 따라 결과가 갈려요. 앞에 붙인 배경, 말투, 대화의 길이가 모두 기울기를 조금씩 밀어요. 규칙이 없어진 게 아니라, 그 순간의 문맥에서 규칙의 무게가 가벼워진 거예요.

회전문과 같아요. 문이 잠겨 있던 것이 아니라 한쪽으로 도는 편이 쉽게 되어 있을 뿐이고, 미는 힘의 방향이 바뀌면 문도 따라 돌아요.

잣대를 겨냥하면 우회가 생겨요

바닥의 화살표는 진짜 기준이 아니에요. 진짜 기준은 드나드는 사람이 부딪히지 않고 안전하게 지나가는 것이고, 화살표는 그것을 빠르게 알리려고 정해 둔 대신 잣대예요. 대신 잣대를 쓰면 그 잣대만 비켜 가면 되는 길이 열려요.

AI의 안전장치도 마찬가지예요. 진짜 기준은 이 답이 실제로 해를 끼치느냐인데, 모델이 실제로 붙잡고 있는 것은 위험해 보이는 요청의 결이에요. 그래서 결만 바꿔 놓으면 같은 요청이 다른 요청처럼 보여요.

잣대와 목적이 벌어져 있는 한, 잣대를 겨냥한 우회는 계속 생겨요. 새 우회가 발견될 때마다 그 사례를 학습에 넣어 잣대를 다듬는 일이 반복되는 이유예요.

자주 나타나는 세 가지 결

첫째는 상황을 바꾸는 결이에요. 연기, 가상 이야기, 연구나 교육 같은 틀을 씌워 "지금은 평소와 다른 자리"라고 문맥을 새로 짜는 방식이에요. 규칙이 상황에 따라 달라진다고 배운 부분을 이용해요.

둘째는 쪼개는 결이에요. 한 번에 물으면 거절될 일을 여러 조각으로 나눠 물어요. 조각 하나하나는 평범해 보여서 각 단계에서는 거절할 이유가 잘 잡히지 않아요.

셋째는 형식을 바꾸는 결이에요. 다른 언어, 낯선 표기, 표나 목록 같은 겉모습으로 감싸면 위험을 재는 감각이 흐려져요. 안전 학습에 쓰인 예시들과 겉모습이 멀어질수록 성향이 약해지기 때문이에요.

인젝션과 헷갈리기 쉬워요

두 낱말은 자주 같이 쓰여서 하나로 뭉뚱그려지기 쉬운데, 갈라 보면 간단해요. 탈옥은 대화창 앞에 앉은 사람이 스스로 문을 거꾸로 미는 일이에요. 프롬프트 인젝션은 그 사람이 아무 잘못도 하지 않았는데, AI가 읽어 온 문서나 웹페이지 속 문장이 대신 지시를 밀어 넣는 일이에요.

책임의 자리도 달라요. 탈옥은 서비스가 어디까지 허용할지 정하는 문제에 가깝고, 인젝션은 AI에게 어떤 자료와 권한을 쥐여 줄지 설계하는 문제에 가까워요. 막는 방법도 그래서 갈려요. 앞쪽은 안전 학습과 요청 검사로, 뒤쪽은 권한 좁히기와 자료 다루는 방식으로 대응해요.

겹을 쌓아 막아요

모델 하나에만 기대지 않아요. 들어오는 요청을 따로 살피는 검사, 나가는 답을 다시 살피는 검사, 답을 만들 때 참고하는 정책 문구, 그리고 위험한 기능 자체를 서비스에서 빼는 결정이 함께 쓰여요. 회전문에 역회전을 막는 걸쇠를 달고, 도는 속도를 제한하고, 그래도 안 되면 그 통로를 아예 닫는 것과 같은 방식이에요. 한 겹이 새더라도 다음 겹에서 걸리도록 두는 거예요.

너무 조이면 반대쪽 문제가 생겨요. 안전 관련 질문이나 창작물까지 거절해 버리면 쓸모가 크게 줄어요. 조이는 정도를 정하는 일은 기술 선택이라기보다 서비스가 누구를 대상으로 무엇을 하려는지에 대한 결정이에요.