AI 편향AI Bias

기울어짐은 자료를 모으는 순간 들어와요

자료를 모을 때 누구의 기록이 얼마나 담기는지가 이미 정해져요. 글을 많이 남기는 쪽의 말투와 관심사는 두툼하게 쌓이고, 기록을 적게 남기는 쪽은 얇게 남아요. 세상에 있는 그대로를 옮겨 담았다고 해도, 세상 자체가 기울어 있으면 자료도 그만큼 기울어요.

모으는 방법이 기울기를 새로 만들기도 해요. 특정 시간대에, 특정 통로로만 모은 자료는 그 통로를 지나간 사람들의 특징만 담아요. 먼저 급했던 몇 사람이 낸 자국이 그 공원의 길이 되는 것과 똑같아요.

그래서 자료를 잔뜩 늘리는 것만으로는 기울기가 펴지지 않아요. 기울어진 자료를 열 배로 늘리면 기울어진 자료가 열 배가 될 뿐이에요. 무엇이 빠졌는지를 보고 빠진 쪽을 따로 채워야 기울기가 줄어요.

정답표를 붙인 사람의 눈도 함께 배워요

학습에 쓰는 자료 상당수는 사람이 하나씩 정답을 붙여서 만들어요. 무엇을 적절한 표현으로 볼지, 어디까지를 위험한 요청으로 볼지는 붙이는 사람의 기준에 달려 있어요. 그 기준이 한 집단의 감각만 반영하면 그 감각이 곧 정답표가 되고, 모델은 정답표를 의심하지 않고 배워요.

지침을 아무리 촘촘하게 써도 애매한 경계는 남아요. 같은 자료를 여러 사람에게 나눠 주고 얼마나 같은 답을 붙이는지 재 보는 절차를 두는 이유예요. 답이 크게 갈리는 항목은 모델에게 넘기기 전에 기준부터 다시 정해야 한다는 신호예요.

무엇을 잘한 것으로 볼지 정하는 자리에도 기울기가 들어와요. 성공의 잣대를 과거 기록과 얼마나 비슷한지로 잡으면, 모델은 과거의 결을 재현할수록 좋은 점수를 받아요. 잣대 자체가 발자국을 따라 나 있는 셈이에요.

전체 점수 하나로는 보이지 않아요

전체 정확도가 높으면 잘 만든 것처럼 보여요. 그런데 그 점수는 대부분 자료가 두툼한 쪽에서 나와요. 자료가 얇은 쪽에서 자주 틀리더라도 그 몫이 작으면 전체 점수는 거의 흔들리지 않아요. 평균 하나로는 어디가 기울었는지 알 수 없어요.

그래서 점검할 때는 점수를 쪼개서 봐요. 나이대별로, 지역별로, 말투나 표기 방식별로 따로 재 보면 평균에 가려져 있던 차이가 드러나요. 나눠 재는 축을 정하지 않으면 기울어짐은 눈에 띄지 않은 채 그대로 남아요.

밟을수록 굳어지는 되먹임

AI의 판단이 세상에 영향을 주고 그 결과가 다음 학습 자료가 되면, 처음의 작은 치우침이 시간이 지날수록 가팔라져요. 덜 추천되는 쪽은 사람들 눈에 덜 띄고, 덜 띄니 기록도 덜 쌓이고, 기록이 얇아지니 다음 모델은 그쪽을 더 모르게 돼요.

자국이 단단하게 다져질수록 잔디를 새로 밟아 다른 줄을 내는 사람이 줄어드는 것과 같아요. 되먹임이 도는 자리에서는 기울기를 일찍 재는 일이 특히 중요해요. 굳고 나면 되돌리는 데 훨씬 큰 힘이 들어요.

줄일 수는 있어도 없앨 수는 없어요

빠진 쪽 자료를 따로 채우고, 정답표를 여러 사람이 교차로 확인하고, 학습이 끝난 뒤 집단별 성적을 나눠 재고, 결과가 크게 갈리는 자리에는 사람이 한 번 더 들여다보는 절차를 두는 식으로 기울기를 줄여요.

그래도 완전히 평평한 자료는 없어요. 사람이 남긴 기록에는 사람이 살아온 방식이 함께 담기고, 그 부분을 걷어 내면 배울 자료도 함께 사라져요. 편향을 다루는 일은 기울기를 0으로 만드는 일이 아니라, 어디가 얼마나 기울었는지 재고 그 사실을 밝혀 두는 일에 가까워요.

어느 정도의 기울기까지 받아들일지, 어떤 기울기는 반드시 고쳐야 하는지는 재는 것만으로 정해지지 않아요. 그 판단은 공정성이 다루는 몫이에요.