음원 분리Source Separation

섞인 뒤에는 경계가 없어요

못에서는 갈래가 여전히 따로 헤엄치지만, 소리는 사정이 달라요. 여러 소리가 한 공간에 있으면 공기의 떨림이 그대로 더해져 하나의 물결이 돼요. 녹음된 파일 안에는 노랫소리와 반주가 나란히 들어 있는 게 아니라, 둘을 더한 값 하나만 남아 있어요.

숫자로 치면 여러 수를 더한 결과만 알려 주고 원래 수들을 맞히라는 문제예요. 답이 하나로 정해지지 않아요. 그래서 음원 분리는 재는 일이 아니라 짐작하는 일이에요.

짐작이 가능한 이유는 소리마다 생김새가 있기 때문이에요. 아무 수나 더해진 게 아니라 목소리답게, 드럼답게 생긴 것들이 더해졌다는 걸 알고 있으면 갈라 볼 여지가 생겨요.

소리 그림 위에서 몫을 나눠요

실제 작업은 파형을 곧바로 자르지 않고 소리 그림 위에서 이뤄지는 경우가 많아요. 시간과 높낮이로 칸이 나뉜 그림을 펼쳐 놓고, 칸마다 이 소리가 어느 갈래의 몫인지 비율을 매겨요.

이 비율표를 씌우면 한 갈래만 남고 나머지는 눌려요. 비율표를 갈래 수만큼 만들면 갈래별 소리가 각각 나와요. 갈래를 모두 더하면 원래 소리로 돌아오도록 맞추는 것이 보통이에요.

칸마다 주인을 하나로 딱 정하지 않는 것이 중요해요. 같은 칸에 두 소리가 함께 들어 있는 일이 흔하거든요. 절반씩 나눠 갖는 식으로 매겨야 갈라낸 소리가 뚝뚝 끊기지 않아요.

무엇을 단서로 삼나요

가장 큰 단서는 높낮이 무늬예요. 목소리는 규칙적인 줄무늬를 만들고 드럼은 짧고 넓게 퍼지는 얼룩을 만들어서, 그림에서 생김새가 달라요. 소리가 이어지는 길이도 달라요. 현악기는 길게 이어지고 타악기는 순식간에 사라져요.

시간에 따라 어떻게 움직이는지도 봐요. 노랫소리는 가사와 호흡에 따라 오르내리고 반주는 박자를 지켜요. 이 다른 흐름이 겹친 구간을 갈라 주는 힌트가 돼요.

녹음이 좌우로 나뉘어 있으면 방향도 단서예요. 왼쪽에서 더 크게 들리는 소리와 가운데에서 들리는 소리를 갈라 볼 수 있어요. 다만 요즘 방식은 한 갈래로 합친 녹음에서도 제법 잘 갈라내요.

깔끔하게는 안 떨어져요

갈라낸 노랫소리만 따로 들어 보면 뒤에서 반주의 흔적이 희미하게 들려요. 반대쪽에는 목소리의 잔향이 남고요. 소리가 물속에서 나는 것처럼 웅웅거리거나 가장자리가 부스럭거리기도 해요.

특히 어려운 경우가 있어요. 아주 닮은 목소리 둘이 동시에 말할 때, 울림이 심한 방에서 녹음했을 때, 학습에 없던 악기나 소리가 섞였을 때예요. 원래 녹음에서 이미 뭉개져 저장된 소리도 되살리기 어려워요. 잃어버린 정보는 갈라낸다고 돌아오지 않아요.

어디에 쓰이나요

노래에서 반주만 남기거나 목소리만 뽑아내는 쓰임이 가장 익숙해요. 옛 녹음에서 악기별로 갈라 다시 섞는 복원 작업, 영화에서 대사만 키우고 배경 소리를 줄이는 작업에도 써요.

말소리 쪽에서는 회의 녹음에서 한 사람 목소리만 남기거나, 시끄러운 곳의 통화에서 목소리와 잡음을 갈라내는 데 쓰여요. 갈라낸 뒤에 받아쓰기를 하면 정확도가 눈에 띄게 올라가서, 앞 단계로 붙여 두는 경우가 많아요.