画像キャプショニングImage Captioning

読む側と書く側が組になります

前段は絵を担当します。写真を細かく分けて見渡しながら色と結、形の特徴を取り出し、その結果を数字の束いくつかに変えます。この段階ではまだ日本語も英語も出てきません。「ここに丸くて赤い塊があり、その下に平らな面がある」程度の情報だけが残ります。

後段は文章を担当します。前段が渡した数字の束を見ながら、次に来る言葉のかけらをひとつ選んでつなげることを繰り返します。文章を書くモデルが前の文を見て次のかけらを選ぶのとまったく同じで、参考にする資料が前の文の代わりに絵の情報だという点だけが違います。

二つを分けておくと利点があります。絵を読む側は写真についてすでに多く学んだことをそのまま使い、文章を書く側も言葉についてすでに学んだことをそのまま使います。新しく学ばなければならないのは両者をつなぐ通路だけです。

何を語り何を飛ばすか

同じ写真にも合う説明は複数あります。「机の上にカップがある」も正しく、「朝日が差し込む窓辺の机に湯気の立つカップが置かれている」も正しいです。どちらがよい説明かは使い道が決めます。

代替テキストに使う説明は短く正確なほうがよいです。画面を見られない人が一度聞いて場面を思い描けなければならないからです。写真検索に使う説明は反対に長く細かいほうが有利です。あとでどんな言葉で探されるか分からないので、引っかかりそうな単語を多く含めておくほうが得です。

だから同じモデルにも「一文で」「詳しく」「文字があれば読んで」といった要求を一緒に入れて説明の結を決めます。要求なしにそのまま任せると、学習材料に多かった長さと言い回しで出てきます。

写真と説明が組になった材料で学びます

学び方は単純です。写真と人が付けた説明を組にして置き、写真を渡してその説明を当てさせます。外れれば少しずつ直し、この作業を何億枚も繰り返します。

だから説明材料の性質がそのまま結果に残ります。材料にありふれた場面が多ければありふれた表現がよく出て、特定の地域や文化の物が少なく含まれていれば、そうした写真の前ではぼんやりした説明が出ます。説明を付けた人たちの言い回しの癖も一緒についてきます。

画面にないものを語ることがあります

もっともよく指摘される弱点です。台所の写真を見せると実際にはない鍋があると言ったり、食卓の写真で皿の数を間違えて数えたりします。見たものを写す代わりに「こういう場面ならふつうこれがある」というほうへ文章が流れるためです。

小さな文字、個数、左右、前後の距離のように正確に数えたり見分けたりすべきものでとくに弱いです。説明が滑らかに読めるからといって合っているとは限らないので、正確さが重要な場面では人が一度確かめてから使うほうが安全です。