音源分離Source Separation

混ざった後には境目がありません

池では種類が変わらず別々に泳いでいますが、音は事情が違います。複数の音が同じ空間にあると、空気の震えがそのまま足し合わされてひとつの波になります。録音されたファイルの中には歌声と伴奏が並んで入っているのではなく、二つを足した値ひとつだけが残っています。

数字でたとえるなら、複数の数を足した結果だけを教えられて、元の数を当てろという問題です。答えがひとつに決まりません。だから音源分離は測る作業ではなく、推し量る作業です。

推し量れる理由は、音にはそれぞれ形があるからです。適当な数が足されたのではなく、声らしく、ドラムらしく形づくられたものが足されたとわかっていれば、分けて見る余地が生まれます。

音の絵の上で取り分を分けます

実際の作業は波形を直接切るのではなく、音の絵の上で行われることが多いです。時間と高さで欄が分かれた絵を広げ、欄ごとにこの音がどの種類の取り分かを割合で割り当てます。

この割合表をかぶせると一種類だけが残り、残りは抑えられます。割合表を種類の数だけ作ると、種類ごとの音がそれぞれ出てきます。すべての種類を足すと元の音に戻るように合わせるのがふつうです。

欄ごとに持ち主をひとつだけに決めないことが大切です。同じ欄に二つの音がいっしょに入っていることがよくあるからです。半分ずつ分け合うように割り当ててこそ、分けた音がぶつぶつ途切れません。

何を手がかりにするか

一番大きな手がかりは高さの模様です。声は規則的な縞模様を作り、ドラムは短く広がるしみを作るので、絵の中で形が違います。音が続く長さも違います。弦楽器は長く続き、打楽器は一瞬で消えます。

時間とともにどう動くかも見ます。歌声は歌詞と呼吸によって上下し、伴奏は拍を守ります。この違う流れが重なった区間を分ける手がかりになります。

録音が左右に分かれていれば方向も手がかりです。左で大きく聞こえる音と真ん中で聞こえる音を分けて見られます。ただし最近の方式は、一本にまとめられた録音でもかなりうまく分けられます。

きれいには分かれません

分けた歌声だけを聞いてみると、後ろに伴奏の痕跡がかすかに聞こえます。反対側には声の余韻が残ります。音が水の中で鳴っているようにこもったり、輪郭がざらついたりすることもあります。

特に難しい場合があります。とてもよく似た声が二つ同時に話すとき、響きの強い部屋で録音したとき、学習になかった楽器や音が混ざったときです。元の録音ですでにつぶれて記録された音は、分けても蘇りません。失われた情報は分けるだけでは戻ってきません。

どこに使われるか

曲から伴奏だけを残したり声だけを取り出したりする使い方が一番なじみ深いです。昔の録音を楽器ごとに分けて再びミックスし直す復元作業や、映画でせりふだけを大きくして背景音を下げる作業にも使います。

音声の分野では、会議の録音から一人の声だけを残したり、騒がしい場所での通話で声と雑音を分けたりするのに使われます。分けたあとに文字起こしをすると精度が目に見えて上がるので、前段の処理として組み込む場合が多いです。