보코더Vocoder

소리 만들기는 두 부분으로 나뉘어요

글을 읽어 주는 기술을 열어 보면 안이 둘로 갈라져 있어요. 앞쪽은 글을 받아 어떤 발음을 얼마나 길게, 어느 높이로 낼지를 정해 그림처럼 적어 둬요. 뒤쪽은 그 그림만 보고 실제 파형을 만들어요. 뒤쪽이 보코더예요.

굳이 나눈 이유가 있어요. 두 가지 일이 성격이 아주 다르거든요. 앞쪽은 말의 내용과 억양을 다루니 글을 잘 이해해야 하고, 뒤쪽은 내용과 상관없이 소리의 결만 잘 만들면 돼요. 나눠 두면 각각 따로 학습시킬 수 있고, 한쪽만 더 좋은 것으로 갈아 끼울 수도 있어요.

목소리를 바꾸는 일도 쉬워져요. 계획표는 그대로 두고 배관만 바꾸면 같은 문장이 다른 목소리로 나오니까요. 노래나 악기 소리를 다루는 곳에서도 같은 구조를 써요.

설계도에는 빠진 것이 있어요

앞쪽이 넘겨주는 그림에는 시간마다 어떤 높이의 성분이 얼마나 강한지가 적혀 있어요. 그런데 소리의 물결이 그 순간 어느 지점을 지나고 있는지, 마루와 골이 어디에 놓이는지는 적혀 있지 않아요. 계획표에 물의 양은 있어도 물결의 결까지는 없는 것과 같아요.

이 빠진 정보 없이는 파형을 그릴 수 없어요. 보코더가 하는 일의 절반은 이 빈자리를 그럴듯하게 채우는 일이에요. 잘못 채우면 소리가 뭉개지거나 쇳소리가 섞이고, 같은 그림을 두 번 만들어도 미묘하게 다른 소리가 나오기도 해요.

예전에는 이 빈자리를 정해진 계산 규칙으로 메웠어요. 빠르지만 웅웅거리는 티가 났고요. 지금은 수많은 녹음을 들어 본 모델이 "이런 그림이면 물결은 대체로 이렇게 생겼다"를 익혀서 채워요. 사람 목소리와 구분하기 어려운 수준이 된 건 이 부분이 좋아진 덕이 커요.

파형은 아주 촘촘해요

설계도 한 칸은 보통 수백 분의 일 초 정도를 담아요. 그런데 실제 파형은 1초에 수만 개의 값이 늘어선 줄이에요. 보코더는 성긴 그림 한 장을 받아 그보다 수백 배 촘촘한 줄을 뽑아내야 해요.

만드는 방식은 크게 둘이에요. 값을 하나씩 앞에서부터 이어 붙이는 방식은 아주 자연스럽지만 느려요. 1초를 만드는 데 그보다 긴 시간이 걸리면 실시간으로 쓰기 어렵죠. 반대로 한 번에 통째로 뽑아내는 방식은 훨씬 빠르지만 결이 거칠어지기 쉬워요.

지금은 두 몫을 나눠 맡기는 방식이 많이 쓰여요. 한쪽이 파형을 만들고 다른 쪽이 그 파형이 진짜 녹음 같은지 가려내며 서로 다투게 하면, 빠르면서도 결이 살아 있는 소리가 나와요.

좋고 나쁨이 드러나는 자리

보코더의 품질은 특정한 자리에서 티가 나요. 숨소리나 바람 소리처럼 규칙 없는 소리, 노래의 길게 끄는 소리, 소리가 시작되고 끊기는 순간이 그래요. 여기서 거칠면 금속을 긁는 듯한 잡음이나 물속에서 말하는 듯한 울림이 생겨요.

목소리마다도 달라요. 학습에 많이 쓰인 목소리 결은 매끄럽게 나오고, 낯선 결은 흔들려요. 그래서 사람마다 다른 목소리를 다뤄야 하는 곳에서는 여러 목소리를 두루 학습한 보코더를 쓰거나, 목소리의 특징을 따로 넘겨줘요.