공정성Fairness

편향은 사실, 공정성은 판단

편향은 "이 모델의 결과가 이쪽으로 기울어 있다"는 관찰이에요. 재면 숫자가 나와요. 공정성은 그 숫자를 보고 "이 정도 기울기는 받아들일 수 있는가", "받아들일 수 없다면 어느 쪽으로 고쳐야 하는가"를 묻는 자리예요. 재는 일과 정하는 일이 이어져 있지만 같은 일은 아니에요.

이 차이를 흐리면 이상한 요구가 생겨요. 기울기를 재 주는 도구에 "공정하게 만들어 달라"고 맡길 수는 없어요. 도구는 어떤 축에서 얼마나 벌어져 있는지까지 알려 줄 수 있고, 그 벌어짐을 줄이는 게 옳은지는 사람이 정해야 해요.

선풍기 앞에 온도계를 놓으면 자리마다 몇 도인지 알 수 있어요. 온도계는 어느 자리에 바람을 보내야 옳은지까지는 말해 주지 않아요.

공정의 정의가 하나가 아니에요

첫 번째 답은 결과의 비율을 맞추는 거예요. 어느 집단이든 통과하는 비율이 비슷해야 공정하다고 보는 시각이에요. 두 번째 답은 같은 판정을 받은 사람들끼리 실제 결과가 비슷해야 한다고 봐요. 통과 판정을 받은 사람 중 실제로 잘해 낸 비율이 집단마다 같아야 공정하다는 거예요.

세 번째 답은 틀리는 방향을 봐요. 자격이 있는데도 떨어뜨리는 실수가 어느 집단에서 더 자주 일어나는지를 맞추자는 시각이에요. 네 번째 답은 아예 개인을 봐요. 비슷한 사람은 비슷한 대우를 받아야 한다는 거예요.

넷 다 그럴듯하고, 넷 다 지지하는 사람이 있어요. 문제는 이 답들이 같은 자료 위에서 서로 다른 결정을 내놓는다는 점이에요.

동시에 만족시킬 수 없는 경우가 있어요

집단마다 실제 비율이 애초에 다르면, 통과 비율을 맞추는 순간 판정별 실제 비율은 어긋나요. 판정별 실제 비율을 맞추면 이번에는 틀리는 방향의 비율이 벌어져요. 어느 하나를 정확히 맞추면 다른 하나가 밀려나는 관계라서, 셋을 한꺼번에 만족시키는 방법은 아주 특별한 경우 말고는 없다는 것이 알려져 있어요.

그래서 실제 작업은 "공정하게 만들기"가 아니라 "무엇을 먼저 지킬지 고르기"가 돼요. 사람을 떨어뜨리는 실수의 대가가 큰 자리에서는 놓치는 실수를 줄이는 쪽을, 자원을 나누는 자리에서는 비율을 맞추는 쪽을 먼저 두는 식이에요.

회전과 고정을 동시에 할 수 없는 선풍기와 같아요. 방법이 없어서가 아니라, 무엇을 더 중요하게 볼지 정해야만 다음 걸음을 뗄 수 있어서예요.

눈을 가린다고 공정해지지 않아요

가장 먼저 떠오르는 방법은 민감한 항목을 아예 빼는 거예요. 그런데 남은 항목들이 그 정보를 대신 알려 주는 일이 아주 흔해요. 사는 동네, 다닌 곳, 쓰는 말투, 접속 시간대 같은 것들이 조금씩 단서를 흘려요. 항목을 지워도 모델은 비슷한 결론에 도착해요.

게다가 항목을 지우면 기울기를 잴 방법까지 함께 사라져요. 어느 집단에서 성적이 나쁜지 확인하려면 그 집단을 구분할 수 있어야 하니까요. 점검을 위해서는 정보를 안전하게 보관하고 쓰임을 좁게 묶어 두는 편이 낫다고 보는 시각도 여기에서 나와요.

정한 기준을 밝혀 두는 것까지가 일이에요

공정성 작업은 세 걸음이에요. 어떤 축으로 나눠 볼지 정하고, 그 축에서 얼마나 벌어져 있는지 재고, 어떤 기준을 우선할지 골라 그 선택과 이유를 적어 두는 거예요. 마지막 걸음을 빼면 앞의 둘은 서랍 속 숫자로 남아요.

밝혀 두면 두 가지가 가능해져요. 다른 판단을 하는 사람이 무엇을 두고 다른지 짚을 수 있고, 시간이 지나 상황이 바뀌었을 때 그 선택을 다시 열어 볼 수 있어요. 공정성은 한 번 맞추고 끝나는 설정이 아니라 계속 다시 여는 결정이에요.