もう少し詳しく
質問に関係する資料を取り出し、その内容を言語モデルへの入力に加えます。モデルの重みを更新せずに、手元の資料を回答に利用できます。
RAGは、モデルを再学習しなくても社内資料や更新頻度の高い情報を回答へ反映したいという要請から発展しました。文書の分割、検索、再ランキング、引用の提示、回答の拒否条件を一つの流れとして設計し、根拠が本当に回答を支えているかを評価します。
HISTORY
開発された年代と歴史
この用語を大きな流れで見ると、2020年〜に発展してきました。
- 2020Lewisらが、事前学習モデルとWikipediaの密ベクトル検索を組み合わせるRAGを発表。
- 2020年代前半企業文書や最新情報を検索してから回答する実装が急速に普及。
- 現在チャンク分割、埋め込み、再ランキング、引用表示を組み合わせて品質を高める。
キーマン・関わった研究者
Patrick Lewis、Ethan Perez、Aleksandra Piktusほか
技術の変遷
モデル内部の知識 → 検索＋生成 → 出典付きの業務回答
理解のポイント
- 質問に関係する資料を検索し、その内容をモデルの入力へ加えてから回答を生成します。
- 資料を参照させる段階でモデルの重みを更新する必要はなく、追加学習とは役割が異なります。
- 資料を見つける精度と、資料に沿って答える精度を分けて確認します。検索できたことだけでは正答を保証できません。
たとえば、こんな場面で
社内規程を検索して関連する条文を見つけ、その内容に基づいて休暇制度を説明します。
覚えておきたいこと
検索の取りこぼしや資料の誤りがあるため、RAGでも誤った回答がなくなるわけではありません。