LLMとは​何か​ — 仕組みを​一気に​理解する

LLM​（大規模言語モデル）は​ChatGPTや​Claudeの​中枢である。​「次に​来る​トークン​（＝モデルが​扱う​文字列の​最小単位）を​確率的に​予測し続ける」​ことで​テキストを​生成する​巨大な​確率機械だ。

中核の​仕組み

LLMは​直前までの​文脈を​受け取り、​次の​トークン​（単語や​単語の​一部）を​確率で​選ぶ。​これを​1トークンずつ​繰り返す​ことで​文章を​伸ばしていく。​トークンとは、​モデルが​扱う​最小単位の​ことであり、​例えば​「東京都」と​いう​語は​「東京」と​「都」に​分割される。

飛躍の​理由 — Transformer​（トランスフォーマー）と​Attention​（注意機構）

2017年に​登場した​Transformerと​いう​アーキテクチャ​（＝モデルの​構造設計）が​転換点と​なった。​Attention​（注意機構）は、​文中の​すべての​語の​関係を、​語同士の​距離に​関わらず​一度に​計算する​仕組みである。​これに​より​離れた​語同士の​参照関係も​保持できるようになり、​長い​コンテキスト​（＝やり取りの​文脈全体）の​理解が​可能に​なった。

学習の​2段階

事前学習​（Pre-training）では、​インターネット規模の​テキストを​使って​「次の​単語を​予測する」と​いう​課題を​何十億回も​解かせる。​続く​後調整​（RLHF）では、​人間の​評価を​報酬と​して​使い、​モデルに​「望ましい​答え方」を​教え込む。​RLHF​（人間フィードバックに​よる​強化学習）は、​安全性・​丁寧さ・​有用性が​身に​つく​段階である。

強みと​弱み

パラメータ​（＝モデルが​学習で​獲得した​数十億〜数兆個の​重み）は​表現力を​左右するが、​実際には​パラメータ数​その​ものより​データの​品質の​方が​重要だと​される。​LLMの​弱点は​ハルシネーション​（幻覚）で、​モデルは​「もっと​もらしい」語を​選んでいるに​すぎず、​真実か​どうかは​保証されないため、​自信満々に​誤情報を​出力する​ことがある。​この​対策と​して​定番なのが​RAG​（検索拡張生成）であり、​外部の​信頼できる​情報を​検索して​モデルに​添付し、​回答の​根拠と​する​手法である。

LLMの​正体は​確率的な​次トークン予測器であり、​Transformerの​attentionが​文脈を​保ち、​RLHFが​礼儀を​与える。​ただしファクトチェック​（＝事実確認）は​依然と​して​人間の​役割である。