사람 개입Human in the Loop

되돌릴 수 있는 일과 없는 일

AI에게 맡기는 일 대부분은 되돌릴 수 있어요. 초안을 쓰게 하고 마음에 안 들면 다시 시키면 되고, 자료를 분류하게 하고 틀렸으면 옮기면 돼요. 이런 자리에 확인을 걸면 속도만 느려지고 얻는 것이 없어요.

되돌릴 수 없는 일은 성격이 달라요. 메일을 보내는 일, 돈이 나가는 일, 파일을 지우는 일, 바깥에 공개하는 일, 예약을 확정하는 일이 여기에 들어가요. 스스로 여러 단계를 밟는 도구가 늘면서 이런 지점이 자연스럽게 많아졌어요.

그래서 요즘 나오는 도구들은 흐름을 두 종류로 갈라 놓아요. 알아서 진행하는 구간과, 멈춰 서서 사람에게 묻는 구간이에요. 어디에 문턱을 둘지가 그 도구의 성격을 거의 결정해요.

사람이 하는 일은 셋으로 갈려요

첫째는 막기예요. 그대로 나가도 되는지만 판단하고 예 또는 아니오로 답해요. 가장 흔하고 가장 빠르지만, 판단할 재료가 화면에 없으면 그냥 예를 누르게 돼요.

둘째는 고르기예요. AI가 두세 가지 안을 내놓고 사람이 하나를 집어요. 무엇이 다른지 눈에 보이니 판단이 실제로 일어나요. 대신 안을 만드는 데 시간이 더 들어요.

셋째는 고치기예요. 결과를 사람이 손봐서 내보내요. 가장 품이 많이 들지만 남는 것이 있어요. 사람이 고친 부분은 다음 학습이나 규칙 손질에 쓸 수 있는 재료가 되거든요.

확인이 이름만 남을 때

사람은 기계가 내놓은 답을 의심하지 않는 쪽으로 기울어요. 앞에서 아흔아홉 번 맞았으면 백 번째도 맞을 거라고 여기게 되죠. 사람을 세워 두었는데도 사고가 나는 상황은 대개 여기서 나와요.

여기에 양이 겹치면 확인은 완전히 무너져요. 하루에 수백 건이 올라오고 대부분이 멀쩡하면 화면을 넘기는 동작만 남아요. 근거가 함께 보이지 않으면 사정은 더 나빠져요. 결론만 있고 왜 그런지가 없으면 사람이 붙잡을 곳이 없어요.

거절하기 어려운 분위기도 한몫해요. 반려하면 일이 늘고 설명해야 하고 다들 기다린다면, 사람은 통과 쪽으로 기울어요. 확인을 살리려면 아니라고 말하는 쪽이 손해가 아니게 만들어야 해요.

확인이 실제로 되게 만들려면

첫째, 양을 줄여요. 모든 건을 사람에게 보내지 말고 애매한 것만 올려요. AI가 스스로 매긴 확신값이 낮은 건, 평소와 다른 건, 금액이 큰 건처럼 기준을 정해 걸러 내는 거예요.

둘째, 근거를 함께 띄워요. 무엇을 보고 그렇게 판단했는지, 어떤 자료를 근거로 삼았는지가 같은 화면에 있어야 사람이 되짚을 수 있어요. 셋째, 되돌릴 여지를 남겨요. 보낸 뒤 잠깐 취소할 수 있는 시간을 두면 확인의 부담 자체가 줄어요.