ニューラルネットの構造62語
AIモデルの内側がどうなっているかについての用語です。ニューロン、層、重み、活性化関数、RNN、LSTM、パラメータなど、「モデルが大きい」「層が深い」という言葉の実際の意味がわかります。
写真の模様を層ごとに見つけ出すニューラルネットワーク構造
DQNDeep Q-NetworkQ値の表をニューラルネットワークに覚えさせる方法
GPU同じ計算を一度にたくさん処理する装置
LSTM消すものと残すものをゲートで選ぶ回帰型ニューラルネットワーク
ReLU負の値は0にし正の値はそのまま通す活性化規則
RNNRecurrent Neural Network前の要約を引き継ぎ一語ずつ処理する神経網
U-Net縮小してから拡大し位置を復元する神経網構造
VRAMグラフィックカードが計算する数字を広げておく場所
アテンションAttentionどれにどれだけ重みを置くかを決める仕組み
エネルギー・環境コストEnvironmental CostAIを作り使うのにかかる電気と資源
エンコーダー・デコーダーEncoder-Decoder読む側と書く側を分けた二部構成
オートエンコーダーAutoencoder縮めてから元に戻す練習で学ぶ構造
オープンウェイトOpen Weights完成した数字のかたまりだけを開いたモデル
オンデバイスAIOn-Device AI機器の中の部品が直接処理するAI
シーケンス・ツー・シーケンスSequence-to-Sequence最後まで聞いてから別の長さで作り直す構造
シグモイドSigmoidどんな値も0から1の間に押し込める活性化規則
セルフアテンションSelf-Attention同じ文の中の言葉どうしが互いを参考にする方式
ソフトマックスSoftmax複数の点数を合計100%の確率に変える計算
ディープラーニングDeep Learning処理の段階を何層も重ねた機械学習の方式
テンソルTensor数字を複数の軸で整理してまとめたもの
トランスフォーマーTransformer文中の単語が同時に互いを参照して意味を決める構造
ドロップアウトDropout学習中に一部を無作為に休ませる方法
ニューラルネットワークNeural Network計算する場所を何層にも重ねてつないだ仕組み
ニューロンNeuron複数の値を受け取り一つの値を送り出す計算の単位
パーセプトロンPerceptron入力を秤にかけ超えたかどうかだけ答える最初のニューラルネットワーク
バイアス項Bias Term入力に関わらず常に加わる基本値
パラメータParameter学習で値が決まるモデルの中の調節つまみ
ビジョントランスフォーマーVision Transformer写真を断片に切って文のように扱う構造
フィードフォワードFeed-Forward信号が前へだけ流れるニューラルネットワーク構造
フィルターFilter / Kernel何を探すかが書き込まれた小さな数値の板
プーリングPooling区域ごとに代表値だけ残して絵を縮める段階
ブラウザAIBrowser AIインストールなしでウェブページの中で動くAI
ブラックボックスBlack Box中身が見えないAIの判断過程
ベクトルVector複数の項目の値を決まった順に並べた数字の束
マルチヘッドアテンションMulti-Head Attention同じ場面を複数の視点が同時に見るアテンション
モデルサービングModel Serving作っておいたモデルを大勢が使えるように出す仕事
モデルサイズModel Sizeモデルが持っている数字の個数
モデル構造Model Architecture層をどう積んでつなぐかを記したモデルの設計図
レイテンシーLatency要求を送ってから答えを受け取るまでの時間
ローカル実行Local LLMAIモデルを自分のパソコンの中で直接動かすこと
ロジットLogits確率に変える前、候補ごとに付けられた生の点数
位置エンコーディングPositional Encoding場所ごとに順番の印を付ける方法
隠れ層Hidden Layer入力と出力の間で特徴量を作る中間の層
活性化関数Activation Function足し合わせた値を通すか決める関門を持つ関数
計算量Computeモデルを一度動かすのに要る計算の総量
誤差逆伝播Backpropagation誤差を後ろから前へたどり分け前を配る手順
勾配Gradient誤差を減らすにはどちらへどれだけ動くか示す信号
勾配消失Vanishing Gradient学べという信号が層を通るうち薄れて消える現象
行列積Matrix Multiplication表の行と列を対応させて掛けて足す計算
残差接続Residual Connection層を飛び越え元の値をそのまま渡す近道
自己回帰Autoregressive書いた文を読み返し次の一片をつなぐ方式
重みWeight入力ごとに掛けられる、学習で決まる重要度
畳み込みConvolution小さな板を動かしながら写真を調べる計算
深さと幅Depth vs Width層を何段重ねるかと一段をどれだけ広げるか
専門家混合Mixture of Experts必要な担当分岐だけ選んで動かすモデル構造
層Layer同じ入力を受け取るニューロンをまとめた計算段階
層正規化Layer Normalization層ごとに数値の目盛りを整え直す仕組み
多層パーセプトロンMultilayer Perceptron単純な判定器を何層も重ねた基本のニューラルネットワーク
特徴マップFeature Map走査の結果を場所そのままに並べた絵
変分オートエンコーダーVariational Autoencoder点でなく範囲で覚えるオートエンコーダー
量子化Quantization数字の目盛りを粗くしてモデルを軽くすること
剪定Pruning使われない接続を切り落としモデルを軽くすること