言語モデル73語
ChatGPTのような対話型AIが文章を読み書きする仕組みです。トークン、トランスフォーマー、アテンション、埋め込み、プロンプト、ハルシネーション、RAG、コンテキストウィンドウなど、AIを使っていて一度は目にした言葉を集めました。
目標を受け取り自分で段階を踏んで仕事を終えるAI
AIノートAI Notebook自分が入れた資料だけを読んで答える作業スペース
AI検索AI Searchウェブを代わりに調べ整理した答えをくれる検索
BERT前後を同時に見て空欄を埋めて学んだモデル
GPT前を見て次の断片をつなぎ書きする言語モデルの方式
LLM審査LLM-as-a-Judge言語モデルに答えの良し悪しを採点させること
LSTM消すものと残すものをゲートで選ぶ回帰型ニューラルネットワーク
NグラムN-gram前の数語だけを数えて次の言葉を当てていた方式
RAGRetrieval-Augmented Generation答える前に資料を探してきて手元に置いて使う方式
RLHF人が選んだ好みで答えの結を仕上げる学習
RNNRecurrent Neural Network前の要約を引き継ぎ一語ずつ処理する神経網
Top-pサンプリングTop-p Sampling上から切っておいた候補の中だけで選ぶ方式
Word2Vec隣の単語から意味を学び語を座標に変える方法
アテンションAttentionどれにどれだけ重みを置くかを決める仕組み
インストラクションチューニングInstruction Tuning指示を受けたらそれに合わせて答える形を身につける段階
エンコーダー・デコーダーEncoder-Decoder読む側と書く側を分けた二部構成
おもねりSycophancyユーザーに合わせて誤りも正しいと言う癖
グラウンディングGrounding答えの文を実際の根拠につなぎ留めること
コサイン類似度Cosine Similarity二つの方向がどれだけ同じ向きかを測る物差し
コンテキストウィンドウContext Windowモデルが一度に見渡せる文章の最大量
コンピュータ操作エージェントComputer-Use Agent画面を見てマウスとキーボードを代わりに動かすAI
サンプリングSampling候補を確率どおりに一つ選ぶ行為
シーケンス・ツー・シーケンスSequence-to-Sequence最後まで聞いてから別の長さで作り直す構造
ジェイルブレイクJailbreak利用者がAIを言いくるめ規則の外へ導くこと
システムプロンプトSystem Prompt会話の前にあらかじめ敷いておく運用方針
スケーリング法則Scaling Law大きさとデータを増やすと性能が上がる規則
ストリーミング応答Streaming答えができた分から先に送る方式
セマンティック検索Semantic Search文字ではなく意味が近いものを探す検索
セルフアテンションSelf-Attention同じ文の中の言葉どうしが互いを参考にする方式
ゼロショットZero-Shot例を見せずに指示だけで頼む方法
ソフトマックスSoftmax複数の点数を合計100%の確率に変える計算
チャットボットChatbot人と文字や音声でやり取りする対話プログラム
テキスト生成Text Generation前を見て次の断片をつなぎ文章を作ること
トークナイザーTokenizer文を決まった断片一覧で切り番号を付ける装置
トークンTokenAIが文章を読み書きするときに扱う切れ端の単位
トランスフォーマーTransformer文中の単語が同時に互いを参照して意味を決める構造
パープレキシティPerplexity次の言葉を何通りで迷っているかを表す値
ハルシネーションHallucinationAIがもっともらしい嘘の答えを作ってしまう現象
ファインチューニングFine-Tuning学習済みモデルを新しい資料でさらに整える
フューショット学習Few-Shot Learning例をいくつか見せてそのまま頼む方法
プロンプトPromptAIに何をしてほしいか書き渡す指示文
プロンプトインジェクションPrompt Injection外部資料に隠された指示がAIを動かす攻撃
プロンプトエンジニアリングPrompt Engineering望む答えが出るよう指示を練り上げる作業
ベクトルVector複数の項目の値を決まった順に並べた数字の束
ベクトルデータベースVector Database数字の束を近いもの同士探せるよう保管する場所
ペルソナPersonaAIに任せる役割と話し方の設定
マルチエージェントMulti-Agent複数のAIが役割を分けてやり取りしながら働くこと
マルチヘッドアテンションMulti-Head Attention同じ場面を複数の視点が同時に見るアテンション
マルチモーダルMultimodal文・絵・音を一緒に扱えるAI
ロジットLogits確率に変える前、候補ごとに付けられた生の点数
位置エンコーディングPositional Encoding場所ごとに順番の印を付ける方法
温度Temperature候補どうしの確率差を広げたり狭めたりするつまみ
会話の記憶Conversation Memory過去の会話を毎回読み直させてつなぐ方式
感情分析Sentiment Analysis文に表れた語調を良い悪いに分け出すこと
関数呼び出しFunction Callingモデルが必要な道具を決まった書式で呼び出すこと
機械翻訳Machine Translationある言語の文を機械が別の言語に移すこと
拒否Refusalしてはいけない要求をAIが断ること
言語モデルLanguage Model前の言葉から次の言葉を確率で選ぶモデル
思考の連鎖Chain of Thought答えを出す前に途中の手順を一つずつ踏む方式
事前学習Pretraining使い道を決める前に基礎を身につけておく段階
次トークン予測Next-Token Prediction前の文を見て次の断片一つを当てる作業
自己回帰Autoregressive書いた文を読み返し次の一片をつなぐ方式
自然言語処理NLPコンピュータが人間の言葉を扱えるようにする技術
小規模言語モデルSmall Language Model小さく作って手のひらの機器でも動く言語モデル
推論モデルReasoning Model答える前に途中の段階を先に踏む言語モデル
専門家混合Mixture of Experts必要な担当分岐だけ選んで動かすモデル構造
大規模言語モデルLarge Language Model膨大な文章で大きく育てた言語モデル
知識カットオフKnowledge Cutoff学習に使った資料が止まっている時点
知識蒸留Knowledge Distillation大きなモデルの判断を小さなモデルへ移す方法
道具の使用Tool Use必要なときに外の手段を選んで使うこと
文書Q&ADocument Q&A一つの文書に問いかけて答えをもらうこと
埋め込みEmbedding言葉の意味を位置を示す数字に書き写したもの
要約Summarization長い文から残すものだけ選び短くすること