もう少し詳しく
埋め込みを保存して、質問に近い文書を探す用途などで使います。実装によっては、カテゴリや日付などの条件と組み合わせて検索できます。
ベクトルデータベースは、埋め込みの近傍を高速に探す必要から、近似最近傍探索などの索引を備える形で発展しました。保存するベクトルのモデル、更新方法、メタデータの絞り込み、削除や再構築の運用まで含めて設計します。
HISTORY
開発された年代と歴史
この用語を大きな流れで見ると、1990年代〜現在に発展してきました。
- 1990年代近似最近傍探索（ANN）の研究が大規模ベクトル検索を支えた。
- 2017Facebook AI ResearchがFAISSを公開し、類似ベクトル検索を扱いやすくした。
- 2020年代RAGの普及で、永続化・更新・メタデータ絞り込みを備えたサービスが増えた。
キーマン・関わった研究者
Yann LeCunらFAIR研究者、Jeff Johnson、ANN研究者
技術の変遷
ANN研究 → ベクトル検索ライブラリ → RAG向けデータベースサービス
理解のポイント
- 保存したベクトルから、質問などのベクトルに近いものを効率よく探します。
- 埋め込みモデルは数値表現を作る役割、データベースは保存して探す役割を担います。
- 類似性だけでなく、日付やカテゴリなど必要な条件を組み合わせられるかも確認します。
たとえば、こんな場面で
多数の商品説明から、入力した希望に意味が近い商品を探します。
覚えておきたいこと
ベクトル検索の機能は専用製品だけでなく、既存のデータベースに追加される場合もあります。