シーケンス・ツー・シーケンスSequence-to-Sequence

聞く側と作る側が別々になっている

先に出てきた再帰型ニューラルネットワークは、一語受け取ったらすぐに一語出す方式でした。この方式では翻訳ができません。日本語と英語は語順が違い数も違うので、最初の語を聞いた瞬間に最初の語を出すことができないからです。

シーケンス・ツー・シーケンスは、モデルをはじめから二つに分けます。前半は文章を読み込むだけで何も出しません。後半は読む仕事をせず、作り出すことだけをします。二つは別々の手加減を持ち、それぞれ学習されます。

最後まで聞いてから始める

読む側は文章を一語ずつ受け取りながら要約を更新し続けます。最後の語まで入れ終わると、その時点の要約のかたまり一つが残ります。このかたまりが文章全体の代わりを務める荷物です。

作る側は、このかたまりを出発点にして最初の語を出します。そして自分がたった今出した語を再び自分の入力として受け取り、次の語を出します。この繰り返しが終わるまで続きます。

止まるときを知らせる印も別に用意します。文章が終わったという信号と文章を始めよという信号を語のように一つずつ作っておき、一緒に学習させます。作る側が終わりの信号を出したら、そこで止まります。

長さが違ってもいい理由

読むことと作ることが完全に分かれているので、数を合わせる理由がありません。読む側は語の数だけ回り、作る側は終わりの信号が出るまで回ります。四語読んで七語出しても何の問題もありません。

この性質のおかげで使える場所が大きく広がりました。長い文章を短くまとめる要約、短い質問に長い答えを付ける対話、音声を文字に起こす書き起こしがすべて同じ枠組みに入ります。入ってくる列と出ていく列の種類が違っていてもかまいません。

伝票一枚では狭くて漏れる

問題は伝票が一枚しかないことにあります。三語の注文でも三十語の注文でも、同じ大きさのかたまり一つに押し込めなければなりません。注文が長くなると、前のほうで聞いた内容から場所を失っていきます。

翻訳ではこの症状がはっきり現れました。短い文はうまく訳せるのに、文が長くなると前の節の内容をまるごと落としたり、見当違いに変えてしまったりすることが多くありました。構造そのものから来る限界なので、モデルを大きくしても解決しませんでした。

今はどう変わったか

解決策は、伝票一枚だけを渡すのではなく、作る側が必要になるたびに原文のほうを見返せるようにすることでした。お皿を一つ作るたびに、お客さんが言った中のどの部分が今必要かを選んで見るようなものです。この仕組みが注意機構です。

注意機構が付くと性能が大きく伸び、まもなく再帰の構造を取り除いて注意機構だけを残したトランスフォーマーが登場しました。今使われている翻訳機や対話型AIも、内側の部品は変わりましたが、聞く側と作る側を分けて別の長さに移すという骨組みはそのまま受け継いでいます。