BERT

隠して当てることを数え切れないほど繰り返します

BERTを身につける方法は簡単です。適当な文章を持ってきて単語10個のうち1個くらいを隠し、その場所に何があったか当てさせます。正解は隠した原文にすでに入っているので、人が別に答えをつける必要がありません。

文一つでも問題をいくつも作れます。最初の単語を隠して一問、五番目の単語を隠してまた一問。インターネットに転がっている文章すべてが問題集になるわけで、人の手を加えずに膨大な量を身につけることができました。

この訓練は当てる腕前だけを伸ばすのではありません。空欄を埋めるには文の構造と単語同士の関係を知っている必要があるので、繰り返すうちに言葉の使い方がまるごと身につきます。

両側を両方見ることが分かれ道です

一方向にしか読まないモデルは空欄の前の文章しか見られません。「銀行に行ってお金を○○」までしか見なければ、後ろにどんな言葉が続いても構わずそれらしいものを選ぶことになります。

BERTは後ろも見ます。「銀行に行ってお金を○○出たら通帳の残高が増えていました」なら、後ろについた残高の話が前の空欄を絞り込んでくれます。同じ場所でも後ろを見られるかどうかで判断が変わるのです。

日本語でもこの違いは大きく表れます。助詞や語尾が後ろに付くことで前の言葉の役割が決まることがよくあるからです。文末を見て初めて前が解ける構造では、両方を見る方式は大きな武器になります。

つなぎ書きする代わりに意味を渡します

BERTは会話相手ではありません。文を入れると続く文を作ってくれるのではなく、その文がどんな意味なのかを数値の束にまとめて出します。この数値の束を受け取って実際の判断をする部分は後ろに別につけます。

この方式がよく合う仕事があります。レビューが称賛か不満かを分けること、問い合わせを担当部署に振り分けること、意味の近い文書を探すこと、長い文の中から答えが書かれている区間を指し示すことです。どれも新しい文を作り出す必要はなく、理解さえ正確ならよい仕事です。

検索で特によく使われます。文字が重ならなくても意味の近い文書を探し出すには、文の意味を数値で扱えなければなりませんが、その役割にぴったり合うからです。似た数値の束を持つ文書同士を近くに並べておけば、検索は言葉探しではなく数値同士の距離比べになります。

身につけたものに仕上げだけを乗せます

空欄当てで身につける段階は時間がかかり費用も大きいです。しかしこの段階は一度だけで済みます。その次はやりたい仕事に合った例を少しだけ加えて短く追加学習させます。

レビュー一万件ほどあれば感情分類機になり、問い合わせ数千件あれば部署分類機になります。最初から作ったらもっと多くの資料と時間が必要だったことを、すでに言葉を知っているモデルを連れてきて最後の仕上げだけして終わらせるわけです。仕上げに使う例が少なくて済むのは、靴の並べ方をすでに知っている人に新しい玄関の癖だけ教えるのに似ているからです。