BERT

가려 놓고 맞히기를 수없이 반복해요

BERT를 익히는 방법은 간단해요. 아무 글이나 가져와 낱말 열 개 중 하나쯤을 가리고, 그 자리에 무엇이 있었는지 맞히게 해요. 정답은 가린 원문에 이미 들어 있으니 사람이 따로 답을 달아 줄 필요가 없어요.

문장 하나로도 문제를 여러 개 낼 수 있어요. 첫 낱말을 가려 한 문제, 다섯째 낱말을 가려 또 한 문제. 인터넷에 널린 글 전부가 문제집이 되는 셈이라, 사람이 손대지 않고도 어마어마한 양을 익힐 수 있었어요.

이 훈련은 맞히는 재주만 늘리는 게 아니에요. 빈칸을 채우려면 문장의 짜임과 낱말 사이의 관계를 알아야 하니, 반복하는 동안 말의 쓰임이 통째로 몸에 배요.

양옆을 다 보는 것이 갈림길이에요

한 방향으로만 읽는 모델은 빈칸 앞쪽 글만 볼 수 있어요. "은행에 가서 돈을 ○○"까지만 보면 뒤에 어떤 말이 이어지든 상관없이 그럴듯한 것을 고르게 돼요.

BERT는 뒤쪽도 봐요. "은행에 가서 돈을 ○○고 나오니 통장 잔액이 늘었어요"라면, 뒤에 붙은 잔액 이야기가 앞의 빈칸을 좁혀 줘요. 같은 자리라도 뒤를 볼 수 있느냐 없느냐로 판단이 달라지는 거예요.

한국어에서는 이 차이가 더 크게 나타나요. 조사와 어미가 뒤에 붙으면서 앞말의 역할이 정해지는 일이 흔하니까요. 문장 끝을 봐야 앞이 풀리는 구조에서 양쪽을 다 보는 방식은 큰 무기가 돼요.

이어 쓰는 대신 뜻을 넘겨줘요

BERT는 대화 상대가 아니에요. 문장을 넣으면 이어질 문장을 만들어 주는 게 아니라, 그 문장이 어떤 뜻인지를 숫자 묶음으로 정리해 내놓아요. 이 숫자 묶음을 받아 실제 판단을 하는 부분은 뒤에 따로 붙여요.

이 방식이 잘 맞는 일이 있어요. 후기가 칭찬인지 불만인지 가르기, 문의 글을 담당 부서로 보내기, 뜻이 비슷한 문서를 찾아 주기, 긴 글에서 답이 적힌 구간을 짚어 주기 같은 일이에요. 모두 새 글을 지어낼 필요 없이 이해만 정확하면 되는 일이에요.

검색에서 특히 많이 쓰여요. 글자가 겹치지 않아도 뜻이 가까운 문서를 찾아 주려면 문장의 뜻을 숫자로 다룰 수 있어야 하는데, 그 역할에 잘 맞기 때문이에요.

익혀 둔 것에 마무리만 얹어요

빈칸 맞히기로 익히는 단계는 오래 걸리고 비용도 커요. 하지만 이 단계는 한 번만 하면 돼요. 그다음에는 하려는 일에 맞는 예시를 조금만 붙여 짧게 더 학습시켜요.

후기 만 건 정도면 감정 분류기가 되고, 문의 글 몇천 건이면 부서 분류기가 돼요. 처음부터 만들었다면 훨씬 많은 자료와 시간이 필요했을 일을, 이미 말을 아는 모델을 데려와 마지막 손질만 해서 끝내는 거예요.