スペクトログラムSpectrogram

波形だけを見てもわかりにくいです

録音ファイルを開くと出てくる波の形は、空気がどれだけ強く震えたかを時間順に描いたものです。音が大きいか小さいか、いつ始まっていつ途切れるかはここですぐわかります。

ところが肝心のことはよく見えません。低いうなりなのか高い金属音なのか、人の声なのかドアが閉まる音なのかは、波の細かさに埋もれています。複数の音が重なるとその波が一本の線に合わさってしまい、いっそうわかりにくくなります。

だから音を扱う作業の多くは、波形をそのまま見るのではなく、高さごとに分けた図に移してから始めます。

短い断片ごとに一枚ずつ

音を丸ごと置いて高さを測ると、曲全体にどの音があったかしかわからず、いつあったかは消えてしまいます。そこでごく短い断片に切って測ります。一断片はまばたきの何十分の一ほどの短さで、その中では音がほとんど変わらないと見なします。

断片ごとに低い欄から高い欄まで成分の強さを測ると縦一列が出てきます。断片を少しずつ横にずらしながら同じことを繰り返し、出てきた列を時間順につなぐと図が完成します。断片を重ねながらずらすので、つなぎ目がぶつぶつ途切れません。

欄の目盛りはふつう人の耳に合わせて調整します。人は低い方の小さな差はよく聞き取り、高い方の同じ差はあまり聞き取れないので、低い方を細かく、高い方を粗く分けます。

図の読み方

横は時間、縦は高さ、濃さは強さです。声はこの図で横に並んだ縞模様として現れます。一番下の縞が声帯が震える基本の高さで、その上に一定の間隔で縞が幾重にも重なります。歌で音を上げると、この縞模様全体が上に押し上げられます。

「ん」や「す」「つ」のような音は縞模様がなく、上の方が広くぼやけたしみのように見えます。手拍子やドアが閉まる音は縦に引いた線のように短く広く広がります。静かな区間はただの空欄です。同じ言葉を話しても人によって縞の間隔としみの形が違うので、この模様が声の指紋の役割をします。

細かさを選ぶと何かを失います

断片を短く切るほど、いつ何が起きたかがはっきりします。その代わり一断片に含まれる波が少なくなるので、高さの欄がまとまってぼやけます。逆に長く切ると高さはきれいに分かれますが、その中で音が変わった瞬間がぼやけます。

**両方を同時にはっきりさせることはできません。**何を見たいかによって選ぶしかありません。話し声を書き起こすときは音が速く変わるので短く切り、音楽の和音を調べるときは少し長めに切ります。

この図の上で作業が進みます

スペクトログラムに移すと、音の問題が図の問題に変わります。図で模様を見分ける方法はすでにたくさん積み上がっているので、それをそのまま持ってきて使えます。

文字起こしはこの図で発音ごとの模様を読み取って文字に移す作業で、音の高さの検出は縞模様の中で基準になる一本を突き止める作業です。音源の分離は重なった模様を楽器ごとに分ける作業で、音を作る側は逆にこの図を先に描いてから波形に変えます。