もう少し詳しく
質問だけを渡す代わりに、入力と望ましい出力の例をいくつか見せます。分類の基準や表記の統一など、文章だけでは説明しにくい条件を伝えるときに役立ちます。
Few-shotは、自然言語で細かな規則を説明するより、入出力の実例を示したほうが形式を伝えやすい課題で有効です。例の順序や数、表現の一貫性が結果に影響するため、実際のデータに近い少数例で効果とコストを評価します。
HISTORY
開発された年代と歴史
この用語を大きな流れで見ると、2000年代〜現在に発展してきました。
- 2000年代少数例で学習するfew-shot learningが機械学習の研究課題として扱われた。
- 2020GPT-3論文が、重みを更新せず例示だけでタスクを切り替える能力を示した。
- 2020年代LLMへの例示付きプロンプトの基本パターンとして普及。
キーマン・関わった研究者
Tom Mitchellら少数例学習研究者、Tom Brown、OpenAI GPT-3研究チーム
技術の変遷
モデル更新 → 少数例学習 → 例示を含むプロンプト
理解のポイント
- 入力と望ましい出力の組を少数示し、文章だけでは伝えにくい分類基準や書式を伝えます。
- このページで扱う方法は入力に例を加えるもので、重みを更新するファインチューニングとは異なります。
- 見本の分類や書式が食い違うと意図も曖昧になります。新しい入力にも同じ基準を適用できる例を選びます。
たとえば、こんな場面で
問い合わせ文と「返品」「配送」などの分類例を見せてから、新しい問い合わせを分類させます。
覚えておきたいこと
入力に例を加える操作は、通常、モデルの重みを更新する追加学習とは異なります。