LLM（大規模言語モデル）は、文章をそのまま保管して取り出すのではなく、入力された語と文脈を数値の並びに変換しながら処理します。その内部で作られる数値表現が、文章の意味を捉え、続きを生成する土台になります。
この記事では、LLMに関して使われることがある「潜在学習」という言葉を、モデルが潜在表現を身につける表現学習の意味で扱います。特定の一つの学習手法を指す名称ではありません。何を学び、どこで使われるのかを順に整理します。
LLMでいう「潜在学習」の意味
潜在表現とは、入力された言葉や文章の特徴を、モデル内部で計算できる数値として表したものです。ここでいう「潜在」は、情報が存在しないという意味ではなく、人がそのまま読める単語や文章の形では表に出ていないことを示します。
ベクトルは、その数値を順番に並べたものです。モデルは、単語の表面的な一致だけでなく、周囲の語との関係も反映したベクトルを各層で計算します。このため、同じ表記でも文脈が違えば、内部表現も変わります。
たとえば、「はしを渡る」と「はしで食べる」では、「はし」の意味が異なります。モデルは前後の語を手がかりに、それぞれを異なる文脈の中で処理します。
ただし、潜在表現を「意味が整理された一枚の地図」と捉えると正確ではありません。LLMでは、トークンごと、層ごと、入力文脈ごとに表現が変化します。人が後から理解しやすい概念だけが、きれいに分離されているとも限りません。
学習中に潜在表現が作られる流れ
- 文章をトークンに分ける
モデルは、入力文を単語や文字のまとまりであるトークンに分割し、それぞれを数値表現へ変換します。 - 文脈を反映する
Transformerの各層が、あるトークンと周囲のトークンの関係を計算し、文脈を含む内部表現を更新します。 - 学習目標に沿って予測する
次のトークンや隠されたトークンなど、学習方式ごとに定められた対象を予測します。 - 予測のずれを小さくする
正解とのずれが小さくなるようにモデルの重みを調整します。この更新を多くの文章で繰り返す過程で、予測に役立つ語順、文脈、語の関係が内部表現に反映されます。
モデルが直接教えられるのは、通常、「この概念をこの位置に保存する」というルールではありません。予測課題を解きやすくするために内部表現が形成されます。そのため、表現の中に有用な規則性が現れても、それが人の知識体系と同じ形で保存されているとは限りません。
代表的な学習方式の違い
元記事で挙げられていた学習方式は、すべて同じ役割を持つわけではありません。LLMの事前学習で中心になる方式と、文章の埋め込みや周辺の表現学習で使われる方式を分けると理解しやすくなります。
| 方式 | 主な予測内容 | 位置づけ |
|---|---|---|
| 次トークン予測 | それまでの文脈から次のトークンを予測する | GPT系モデルの事前学習で使われる代表的な方式です。 |
| マスク言語モデリング | 文章の一部を隠し、前後の文脈から元のトークンを予測する | BERT系の表現学習で知られる方式です。生成型LLMのすべてがこの方式を中心に学習するわけではありません。 |
| オートエンコーダ | 入力を内部表現へ変換し、そこから入力を再構成する | 表現学習の代表例ですが、一般的な生成型LLMを一律にオートエンコーダと呼ぶのは適切ではありません。 |
| コントラスト学習 | 関連するデータの表現を近づけ、関連の薄いデータの表現を離す | 文章埋め込みや類似度計算に適した表現を作るために使われます。LLM本体とは別の学習工程や補助目的として組み合わせる場合もあります。 |
潜在表現が担う役割
文脈に応じた言葉の処理
単語を常に同じ意味として扱うと、多義語や省略を含む文章を処理できません。文脈を反映した内部表現を使うことで、モデルは周囲の語との関係を次の予測に反映します。ただし、これは人と同じ方法で意味を理解していることの証明ではありません。
文章生成のための予測
生成型LLMは、各時点の内部表現を使って次に続くトークンの確率を計算し、選ばれたトークンを文章へ追加します。翻訳、要約、質問応答でも内部表現は使われますが、単に潜在ベクトルを取り出して直接操作すれば各機能が実現するわけではありません。指示の与え方、追加学習、モデル設計なども結果に影響します。
意味に基づく検索と分類
セマンティック検索では、検索文と文書を比較しやすい固定長の埋め込みへ変換し、意味的な近さを検索に使います。LLM内部の任意の状態をそのまま検索に使うのではなく、埋め込みモデル、保存先、近傍検索、評価方法を含む仕組みが必要です。実装を検討する場合は、ベクトル検索と検索基盤の設計も切り分けて考える必要があります。
文書クラスタリングでは、文書の埋め込みを近さに応じてまとめます。ただし、各まとまりが何を意味するか、業務上使える分類かは人が確認しなければなりません。
別のタスクへの再利用
事前学習で得た表現は、分類、質問応答、要約などの別タスクへ転用できます。追加学習に必要なデータを減らせる場合はありますが、「少量のデータがあれば必ず高精度になる」という意味ではありません。対象分野、データ品質、評価方法によって結果は変わります。
よくある説明を正確に読み替える
| よくある説明 | 正確な捉え方 |
|---|---|
| 情報を低次元に圧縮する | オートエンコーダでは圧縮が目的になる場合があります。一方、LLMの隠れ状態はトークンや層ごとに存在するため、常に単純な次元削減とみなせるわけではありません。 |
| 似た意味は近くに並ぶ | 埋め込みには類似関係が表れることがあります。ただし、距離の意味はモデルと学習目的によって異なり、人が期待する分類と一致する保証はありません。 |
| 潜在ベクトルを動かせば文体を制御できる | 研究上の手法として表現を操作する場合はありますが、一般的な利用では指示文、生成設定、追加学習などを使って文体を調整します。 |
| モデルが自分で品質を測る | 内部表現の分布だけで、回答の正しさを安定して保証できるわけではありません。用途に合った評価指標、検証データ、人による確認が必要です。 |
| ベクトル化すれば検索が速くなる | 検索速度は、埋め込みの作り方だけでなく、索引、近傍検索の方式、データ量、運用構成にも左右されます。 |
潜在表現を利用するときの注意点
- 解釈しにくい：個々の数値や特定の層だけを見ても、モデルがなぜその回答を選んだかを十分に説明できない場合があります。
- 学習データの偏りを受ける：データに含まれる偏りや不足が内部表現にも反映される可能性があります。出力の確認と用途ごとの評価を省けません。
- 事実を正確に保存する仕組みではない：関連する表現を学んでいても、正確な事実を毎回再現できるとは限りません。根拠が必要な用途では、参照情報と出力を照合します。
- 計算資源と調整が必要になる：大規模な事前学習、追加学習、埋め込みの作成、検索基盤の運用では、それぞれ異なるコストと設計判断が生じます。
LLMの潜在表現を理解するための要点
- 「潜在学習」は、LLM分野で統一された一つの学習方式ではなく、この記事では内部表現を学ぶ過程を示す言葉として使っています。
- 生成型LLMでは次トークン予測、BERT系ではマスク言語モデリングなど、学習目標によって内部表現の作られ方と用途が異なります。
- セマンティック検索やクラスタリングでは、比較に適した埋め込みと、それを扱う別の仕組みが必要です。
- 潜在表現はLLMの能力を支えますが、正確性、公平性、説明可能性を自動で保証するものではありません。
潜在表現を理解する目的は、内部を神秘的に捉えることではありません。学習目標、表現の単位、利用方法、評価方法を分けて確認すれば、LLMに任せられる処理と、人が検証すべき判断を整理しやすくなります。
この記事に関連する株式会社greedenの取り組み
LLMの仕組みを理解しても、業務に合う活用法は自動では決まりません。株式会社greedenは、目的と確認工程を整理し、生成AIのツール選定から業務フロー改善、社内定着、継続改善まで伴走します。