マルチモーダルMultimodal

形が違っても同じ場所に集まります

文、絵、音は見た目がまったく違います。文は文字の並びで、絵は点の面で、音は時間とともに上下する波です。このままでは比べようがありません。

マルチモーダルモデルはこの三つをそれぞれ数値のまとまりに変えます。大事なのは変わった後に三つが同じ空間に置かれることです。猫の写真から出た数値のまとまりと、猫という文から出た数値のまとまりが互いに近い場所に来るように学習させるのです。

同じ場所に置かれてしまえばその先は同じです。どちらから来たものでも同じように比べたりつなげたりできます。写真と文が合っているか、音と字幕が合っているかを判断できるようになる理由です。

何ができるようになるか

一番よくあるのは写真を見て説明することです。冷蔵庫の中を撮って入れて何を作るか尋ねたり、手描きの表を撮って整理してと頼んだりできます。文に起こすのが面倒なものをそのまま見せればよいので手間が減ります。

逆の方向もできます。言葉で説明して似た絵を探したり、長い録音を入れて決まったものだけ抜き出してもらったりできます。複数の形を混ぜて入れることもできます。説明書の写真と質問文を一緒に入れると、絵と文を一緒に見て答えます。会議の録音を入れて要点だけ文で受け取るというように、入り口と出口の形が違ってもかまいません。

この方式が便利な理由は一つです。人が経験する状況はもともと一つの形だけで来るわけではないからです。

答えも複数の形で出ます

受け取る側だけが複数の形なのではありません。出す側も文、絵、音に分かれ得ます。同じ質問に文で答えることもでき、声に出して読んでくれることもでき、絵で描いてくれることもあります。

ただし一つのモデルがこれを全部一人でこなす場合はまだ珍しいです。複数の部分がつながって一つの組のように動く場合が多いです。使う人の目には一つの塊に見えても、内側では絵を見る係、言葉を作る係、音を出す係が分かれていることもあります。

苦手な場面

種類を全部受け取れるからといって全部得意なわけではありません。おおむね文に比べると絵のほうが、絵に比べると音のほうが弱い傾向があります。学習に使える資料の量が種類ごとに違うからです。

特に細かいことに弱いです。絵の中の小さな文字を読み違えたり、物が左にあるか右にあるか混同したり、個数を数え間違えたりすることがよくあります。全体の雰囲気はよくつかむのに、じっくり見ることは不得意なわけです。音も同じで、複数の声が重なった録音から一人の声だけ拾い出すような細かい作業は苦手です。

だから**正確な数字や位置が大事な用件は人が一度確かめるほうが安全です。**絵を入れるときは明るくはっきり、必要な部分が大きく写るように撮ると結果が目に見えてよくなります。一枚にいろいろ詰め込むより、知りたいものだけ大きく写すほうがずっとよいです。