もう少し詳しく
一般に値を低くすると確率の高い候補が選ばれやすくなり、高くすると候補の選択が広がります。設定できる範囲や効果はモデルによって異なります。
Temperatureは、モデルが計算した候補の確率分布からどの程度ばらつきを許すかを調整する考え方です。創造的な案と安定した定型回答では目的が違うため、値を変えた結果を同じ評価セットで比べ、事実確認を別に行います。
HISTORY
開発された年代と歴史
この用語を大きな流れで見ると、1980年代〜現在に発展してきました。
- 1983Kirkpatrick、Gelatt、Vecchiがシミュレーテッド・アニーリングを発表し、温度で探索のランダムさを調整する考えを示した。
- 2010年代ニューラル言語モデルの確率サンプリング設定として使われる。
- 2020年代LLM APIで出力の多様性を調整する代表的なパラメーターになった。
キーマン・関わった研究者
S. Kirkpatrick、C. Gelatt、M. Vecchi、言語モデル研究者
技術の変遷
確率分布の温度 → サンプリング制御 → LLM出力の多様性調整
理解のポイント
- 生成時に候補が選ばれる傾向を調整する設定で、学習によって獲得した知識を増やすものではありません。
- 一般に低い値では確率の高い候補へ寄り、高い値では選択の幅が広がります。効果はモデルによって異なります。
- 値を低くしても事実の正確さや完全な再現性は保証されないため、品質評価とは分けて扱います。
たとえば、こんな場面で
広告文の案を幅広く出したいときに、対応モデルの生成設定を調整します。
覚えておきたいこと
低い値にしても、事実の正確さや毎回同じ出力になることを保証するものではありません。