어텐션Attention

어느 페이더를 올릴지 어떻게 아나요

조정 기사는 대본을 보고 판단해요. 어텐션은 세 가지 정보를 만들어 판단해요. 지금 처리 중인 자리가 "나는 이런 걸 찾고 있다"는 조건을 내놓고, 다른 자리들은 각각 "나는 이런 걸 갖고 있다"는 이름표를 내놓아요. 이 둘이 잘 맞을수록 그 자리의 페이더가 올라가요.

그리고 실제로 섞이는 내용물은 또 따로 있어요. 이름표는 "찾는 조건에 맞는지" 판정하는 데만 쓰이고, 페이더가 올라간 자리에서 실제로 흘러나오는 건 그 자리가 들고 있는 내용이에요. 도서관에서 검색어와 책 제목을 맞춰 보고, 정작 읽는 건 책 속 내용인 것과 같아요.

이 세 가지는 모두 같은 원본에서 각각 다른 방식으로 뽑아낸 것이에요. 어떻게 뽑을지는 학습 중에 정해졌어요. 사람이 규칙을 적어 준 부분이 없어요.

비중을 다 더하면 1이에요

계산된 점수는 그대로 쓰이지 않아요. 전부 더하면 1이 되도록 한 번 정리돼요. 그래서 "이쪽 40퍼센트, 저쪽 25퍼센트" 하는 식으로 읽을 수 있어요.

이 규칙 덕분에 경쟁이 생겨요. 한 자리에 비중을 크게 주면 나머지 자리들은 자동으로 작아져요. 페이더를 모두 최대로 올릴 수 없는 것과 같아요. 그래서 모델은 매 순간 "무엇을 포기하고 무엇을 볼지" 고르게 돼요.

비중이 한 곳에 몰리기도 하고 여러 곳에 고르게 퍼지기도 해요. 몰려 있으면 그 자리 하나가 결정적이라는 뜻이고, 퍼져 있으면 전체 분위기를 두루 참고한다는 뜻이에요.

멀리 있어도 곧바로 들려요

예전 방식은 문장을 한 단어씩 순서대로 넘기며 처리했어요. 첫머리에 나온 말이 문장 끝까지 가려면 중간의 모든 단계를 거쳐야 했고, 그 사이에 정보가 흐려졌어요. 긴 문장에서 주어를 놓치는 문제가 여기서 나왔어요.

어텐션은 이 구조를 없앴어요. 지금 자리에서 앞의 모든 자리를 직접 볼 수 있으니, 스무 단어 앞에 나온 말도 바로 옆 말과 똑같은 거리에 있어요. 조정실에서 어느 마이크든 손만 뻗으면 닿는 것과 같아요. 긴 글에서 앞부분 이름이나 조건을 끝까지 붙잡을 수 있게 된 게 어텐션의 가장 큰 성과예요.

처리할 것이 많아지면 조정판이 커져요

편한 만큼 대가가 있어요. 모든 자리가 모든 자리를 본다는 건, 자리가 두 배로 늘면 따져야 할 짝은 네 배가 된다는 뜻이에요. 마이크가 열 개면 조정판이 감당되지만 만 개면 이야기가 달라져요.

긴 문서를 넣을 때 요금과 시간이 급하게 오르는 이유가 여기 있어요. 그래서 가까운 자리만 보게 하거나, 몇몇 대표 자리만 보게 하거나, 계산 순서를 바꿔 메모리를 아끼는 방법들이 계속 나오고 있어요.

비중 표를 들여다보는 일

어느 말이 어느 말에 비중을 뒀는지는 숫자로 남아요. 그래서 모델이 무엇을 보고 판단했는지 엿볼 수 있는 드문 창구로 여겨져요. 대명사가 어느 이름을 가리키는지, 문장 성분이 어떻게 이어지는지가 이 표에 드러나는 경우가 실제로 있어요.

다만 이 표를 곧바로 "모델이 이걸 근거로 삼았다"는 설명으로 읽으면 곤란해요. 비중이 높다고 그것이 결정의 이유였다고 단정할 수는 없어요. 참고 자료로는 훌륭하지만 증거로 쓰기에는 약해요.