もう少し詳しく
会話履歴、資料、指示などが占めるトークン数を考えるときに使います。入力と出力の上限の関係はモデルやサービスによって異なります。
コンテキストウィンドウは、モデルが一回のリクエストで参照できる入力と出力の領域を設計するための概念です。上限に近づくと履歴の切り詰めや要約が必要になるため、どの情報を残すか、どれを検索で都度取得するかを決めます。
HISTORY
開発された年代と歴史
この用語を大きな流れで見ると、2010年代〜現在に発展してきました。
- 2017Transformerは入力系列全体へのAttentionを使う一方、計算量のため長さに上限があった。
- 2020大規模言語モデルの入力上限がサービス選定の重要な指標になる。
- 2023〜長文Attention、位置表現、検索・要約を組み合わせて扱える範囲が拡大。
キーマン・関わった研究者
Transformer研究者、長文言語モデル研究者
技術の変遷
固定長の系列 → 大きなコンテキスト → 長期記憶・検索との組み合わせ
理解のポイント
- 一度に扱える長さの範囲であり、AIが永続的に記憶できる情報量を表すものではありません。
- 資料、会話履歴、指示などの長さを合計し、出力上限との関係も利用するモデルで確認します。
- 全文が収まる場合でも重要箇所を十分に利用できるとは限らず、分割や必要部分の検索も検討します。
たとえば、こんな場面で
長い資料を要約するとき、全文が収まらなければ分割したり、必要な箇所を検索したりします。
覚えておきたいこと
長い文脈を入力できても、そのすべてを同じ精度で利用できるとは限りません。