A/B 테스트A/B Test
둘로 나눠 써 보게 하고 결과를 견주는 시험
- A/B 테스트는 두 가지를 나란히 내놓고 실제로 써 보게 한 뒤 결과를 견주는 방법이에요.
- 핵심은 나누는 방식이에요. 아무렇게나 갈라야 두 무리 사이에 다른 점이 시험하려는 하나만 남아요.
- 견줄 항목과 기간은 시작 전에 정해요. 하고 나서 좋아 보이는 숫자를 고르면 시험이 아니라 고르기가 돼요.
- 사람의 감이나 회의실의 토론으로는 알 수 없던 것을 실제 사용 결과로 가려내요.
- 차이가 작으면 우연과 구별되지 않아요. 충분한 인원과 기간이 필요한 이유예요.
목차
1비유로 이해하기
신발 공장에서 밑창 고무를 새것으로 바꿔 볼까 해요. 새 고무가 정말 덜 닳는지는 사무실에서 견본을 만져 보는 걸로 알 수 없어요. 그래서 백 켤레는 예전 밑창으로, 백 켤레는 새 밑창으로 만들어 나눠 주고 한 달을 신게 해요. 한 달 뒤 돌려받아 밑창이 얼마나 닳았는지 자로 재요.
중요한 건 나누는 방식이에요. 등산을 자주 하는 사람에게만 새 밑창을 몰아 주면 새 밑창이 더 닳은 것처럼 보여요. 그래서 누구에게 어느 쪽을 줄지 제비뽑듯 아무렇게나 정하고, 신는 기간도 똑같이 맞춰요. 두 무리 사이에 다른 점이 밑창 하나만 남도록 만드는 거예요.
A/B 테스트는 이 시험이에요. 두 가지를 나란히 내놓고, 실제로 써 보게 한 다음, 미리 정해 둔 항목으로 결과를 견줘요.
2자세히 알아보기
아무렇게나 갈라야 시험이 살아요
두 무리를 어떻게 나누느냐가 시험의 전부라고 해도 지나치지 않아요. 사무직에게는 예전 밑창을, 배달 일을 하는 사람에게는 새 밑창을 줬다면, 한 달 뒤에 나온 차이가 밑창 때문인지 걷는 양 때문인지 갈라낼 방법이 없어요.
그래서 나눌 때는 사람의 판단을 빼요. 번호를 매겨 홀짝으로 가르든 제비를 뽑든, 어느 쪽에 들어갈지가 그 사람의 특징과 아무 상관이 없게 만들어요. 이렇게 하면 부지런한 사람도, 게으른 사람도 두 무리에 고르게 섞여요.
나머지 조건은 최대한 똑같이 맞춰요. 같은 기간에, 같은 방식으로 나눠 주고, 같은 자로 재요. 시험하려는 하나만 다르게 두는 것이 이 방법의 뼈대예요.
견줄 항목은 시작 전에 정해요
밑창을 재기로 했으면 밑창을 재요. 한 달 뒤에 밑창 차이가 시원치 않다고 갑자기 신발 끈이 얼마나 닳았는지를 꺼내 들면 시험이 무너져요. 항목을 여러 개 재 놓고 그중 좋아 보이는 하나를 골라 이야기하면, 우연히 잘 나온 항목을 진짜 차이로 오해하게 돼요.
그래서 시작하기 전에 무엇을 재서 어느 쪽이 이겼다고 할지 문장으로 적어 둬요. 주로 볼 항목 하나를 정하고, 그 항목이 오를 때 대신 망가질 만한 것을 지켜보는 항목으로 몇 개 더 둬요.
중간에 자꾸 들여다보는 것도 조심해야 해요. 하루하루 숫자는 오르내려서, 마음에 드는 날에 멈추면 그 결과는 시험이 아니라 그날의 운이에요.
얼마나 오래, 몇 켤레나 해야 하나
열 켤레만 신겨 보고 새 밑창이 낫다고 말하기는 어려워요. 사람마다 걷는 양이 달라서 열 명 안에서는 그 차이가 밑창 차이를 덮어 버려요. 재려는 차이가 작을수록 더 많은 사람과 더 긴 기간이 필요해요.
기간도 넉넉해야 해요. 처음 며칠은 새 신발이라 조심해서 신기 때문에 평소 습관이 나오지 않아요. 새 것이 주는 낯섦이 가라앉을 때까지 기다렸다가 재야 평소의 결과가 나와요.
계절이나 요일 같은 것도 챙겨야 해요. 장마철에만 시험하면 그때의 결과일 뿐이에요. 두 무리를 같은 기간에 함께 돌리는 이유가 여기에 있어요. 시기가 다르면 밑창이 아니라 날씨를 견주게 돼요.
AI 서비스에서는 이렇게 써요
새 모델로 바꿀지, 안내 문구를 어떻게 쓸지, 답을 얼마나 길게 낼지 같은 결정에 이 방법을 써요. 들어오는 사람을 아무렇게나 반으로 갈라 한쪽에는 지금 방식을, 다른 쪽에는 새 방식을 내보내고 정해 둔 항목을 견줘요.
시험실 성적과 실제 사용 결과가 어긋나는 일이 잦아서 특히 쓸모가 있어요. 미리 만들어 둔 문제집에서는 새 방식이 앞서는데 실제로 써 보면 사람들이 예전 방식을 더 오래 쓰는 일이 생겨요. 사람이 실제로 겪는 것은 문제집에 없거든요.
두 답을 나란히 보여 주고 어느 쪽이 나은지 고르게 하는 방식도 널리 쓰여요. 어느 쪽이 누가 만든 답인지 가려 놓고 고르게 하면, 이름값에 끌리지 않는 선택이 쌓여요.
3조금 더 정확하게
A/B 테스트는 대상을 무작위로 두 무리에 배정하고 한 가지 조건만 다르게 둔 뒤 결과를 견주는 대조 실험이에요. 무작위 배정 덕분에 두 무리의 다른 특징들이 평균적으로 상쇄되고, 그래서 결과의 차이를 바꾼 조건 탓으로 돌려 말할 수 있게 돼요. 차이가 우연히 생길 만한 크기인지 아닌지를 통계로 따져 보고, 시작 전에 필요한 인원 수를 계산해 두는 것이 보통이에요.
비유가 어긋나는 지점도 있어요. 밑창은 신은 사람의 마음을 바꾸지 않지만, 서비스는 한쪽 무리의 경험이 다른 무리로 새어 나가요. 두 사람이 서로 화면을 보여 주거나 후기를 올리면 무리가 섞여요. 나누는 단위를 사람이 아니라 지역이나 시간대로 잡아야 하는 경우가 생기는 이유예요.
시험이 늘 옳은 답을 주지도 않아요. 짧은 기간에 좋아 보이는 쪽이 오래 두면 나빠지는 일이 흔해요. 자극적인 안내가 당장의 반응은 올리지만 몇 달 뒤에는 떠나는 사람을 늘리는 식이에요. 그래서 짧게 재는 항목과 길게 재는 항목을 함께 봐요.
4직접 해보기
5흔한 오해
A/B 테스트는 무엇이 더 좋은지 알려 준다고 생각하기 쉽지만, 실제로는 미리 정해 둔 그 항목에서 이번 기간 동안 어느 쪽이 나았는지만 알려 줘요.
차이가 나왔으면 진짜 차이다라고 여기기 쉽지만, 실제로는 인원이 적거나 기간이 짧으면 우연히 벌어진 차이와 구별되지 않아요.
아무 데나 반으로 나누면 된다고 생각하기 쉽지만, 실제로는 나누는 기준에 사람의 특징이 섞이는 순간 무엇 때문에 생긴 차이인지 알 수 없게 돼요.
7한 줄 요약
그러니까A/B 테스트는 두 가지 가운데 하나만 다르게 두고 실제로 써 보게 한 뒤 미리 정한 항목으로 견주는 시험이고, 나누는 방식이 어그러지면 결과도 함께 어그러져요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02