GPU

速いのではなく一度にたくさん

コンピュータの中央演算処理装置は、力持ちの職人数人に近い存在です。一人一人がとても速く、複雑な判断が絡む仕事もてきぱきこなします。その代わり人数は少ないです。

GPUは逆です。単純な計算しかできない小さな職人が数千人入っています。一人ずつ並べて競わせると中央演算処理装置のほうが勝ちます。ですが、まったく同じ計算を数千個一度に投げると結果は逆転します。

だから二つの装置を選ぶときに問うべきは「どちらが速いか」ではなく「この仕事は一度に分けられる仕事か」です。文書一行を直す仕事には車線が数千本も要りません。

AI計算がこの装置とよく合う理由

神経網がしていることを覗くと、大半が数字の表と数字の表を掛け合わせる作業です。表のマスごとに掛けて足す計算が入りますが、この計算同士は互いを待つ必要がありません。最初のマスの結果がわからなくても百番目のマスは計算できるからです。

互いを待つ必要がないという性質が決め手です。車線を増やした分だけそのまま速くなるからです。画面に点を打つ作業も同じ性質を持っていたので、画面用に作られた部品がそのままAI計算にぴったり合いました。

反対に、前の答えが出てから次の計算を始められる仕事にはこの利点が通じません。車線をいくら増やしても車が一台ずつしか入ってこなければ、残りの車線は空いたままです。

紛らわしい三つを分けて見ます

一緒に出てくるけれど別の話が三つあります。演算量はこなすべき仕事が何回あるかを数える言葉です。装置を増やしてもこの数は減らず、モデルが大きくなったり入力が長くなったりすると増えます。

グラフィックメモリは計算する数字を広げておく場所です。場所が足りないと遅くなるのではなく、そもそも始められません。これは広さの問題なので車線の数とは関係ありません。

GPUはその仕事を実際に処理する装置で、車線がいくつあるかに当たります。答えが遅く出るとき何を見直すべきかは、この三つのうちどこが詰まっているかによって決まります。場所が足りずに止まっているのに車線を増やしても意味がありません。

学習と推論でしている仕事が違います

学習はこの装置がいちばん好む仕事です。データを数十数百個ずつまとめて一度に押し込むので車線がいっぱいになり、何日も休まず動き続けます。大きなモデルを作るとき装置を数百台まとめる理由です。

答えを作り出すほうは事情が少し違います。文章を一かけらずつつなげる方式なので前のかけらが出てから次のかけらを始めることになり、その間は車線が空いたままです。だからサービス側では複数の人のリクエストを一つの束にまとめて一緒に処理し、車線を埋めます。利用者が少ない深夜にかえって装置が遊んでいるのも同じ理由です。

グラフィック装置だけを使うわけではありません

AI計算のために別に作られたチップもあります。画面を描く機能を取り除いて掛け算と足し算に集中したチップで、名前は会社ごとに違います。スマートフォンの中にも写真補正や音声認識を担う小さな加速装置が入っています。

ウェブブラウザも今ではグラフィック装置を借りて使えます。インストールなしでページを開くだけでAIモデルが動く体験ツールが出てきたのもこのおかげです。