STTSpeech-to-Text

音には区切りがありません

文章には単語の間にスペースがありますが、話し声は最初から最後までひと続きです。波形をいくら眺めても「ここが単語の終わり」と示された場所はありません。人が実際に息継ぎをする場所も、意味の切れ目とずれることがよくあります。

だから文字起こしは、音を文字に変える作業の前にどこまでがひとまとまりかを決める作業を同時にこなします。同じ音の連なりでも、どこで切るかによってまったく違う文になるからです。

日本語もここに助詞や活用語尾がそのまま続くので、音だけで境目をつかむのはさらに難しくなります。結局は前後の言葉をあわせて見なければ、正しく区切ることはできません。

音を細かく切って広げます

入ってきた音はごく短い断片に切られます。一断片はまばたきよりずっと短く、その中では音がほとんど変わらないと見なせるほどです。

断片ごとにどの高さの成分がどれだけ含まれているかを測って縦に並べ、その列を時間順に並べると音が絵になります。この絵がスペクトログラムです。人の声はこの絵の上で発音ごとにかなり違う模様を作るので、模様を見てどんな音かおおよそ見当がつきます。

文字起こしはこの絵の上で行われます。断片ごとにどの音素や文字の断片である可能性が高いかを点数付けし、その点数を時間順につなぎ合わせて単語や文を作っていきます。

意味が通る方を選びます

音だけでは区別がつかない言葉が多くあります。「私立」と「市立」はどちらも「しりつ」と読み、アナウンサーがわざと「わたくしりつ」と言い換えるほど紛らわしい組み合わせです。こうしたときは音の点数だけでなく、前後に置いたときに意味が通る方もあわせて判断します。

そのため同じ発音でも前の文によって違う文字で書き起こされることがあります。逆に文脈がまったくない短いひと言はよく間違えます。聞き慣れない人名や店名、あまり使わない専門用語もそうです。サービスによってはあらかじめ使いそうな単語のリストを入れて精度を上げることもあります。

ここで出てくる答えはひとつではなく、候補が複数あります。そのうち一番もっともらしいものを選んで表示し、どれだけ確信しているかもあわせて出す場合が多いです。

環境が成績を左右します

パネルに影がかかると発電量が落ちるように、文字起こしも音が入ってくる条件に大きく揺さぶられます。カフェのざわめき、エアコンの音、壁の多い部屋の響きが代表的です。マイクが遠くなると声は小さくなるのに雑音はそのままなので、いっそう悪化します。

複数人が同時に話す場も難しくなります。重なった音は絵の上でも重なっているので、一人分だけを取り出すには別の処理が必要です。会議録サービスが話者を分ける機能を別に用意しているのはそのためです。

話し方も影響します。学習に多く使われた話し方はよく拾い、方言や子どもの声、とても早口な人は相対的によく間違えます。

リアルタイムと後処理は違います

画面に字幕がすぐ出る方式は、音が入ってきた分から前から処理します。後ろにどんな言葉が来るかわからないまま判断しなければならないので、さっき出た文字が少し後でこっそり変わることもあります。

録音が終わったファイルを後で処理すれば、後ろの文脈まで全部見て直せるのでより正確です。その代わり結果を受け取るまで待つ必要があります。端末の中で処理すれば音が外に出ないので安心で、サーバーに送ればより重い処理を使えます。どちらを選ぶかは、正確さと速さ、個人情報のどれを優先するかにかかっています。