もう少し詳しく
RAGでは文書全体ではなく、必要な部分を取り出すために分割します。文字数だけでなく、見出しや段落などの意味の区切りを考えて分ける方法もあります。
たとえば、こんな場面で
取扱説明書を「初期設定」「お手入れ」などの内容ごとに分割して検索できるようにします。
覚えておきたいこと
細かすぎると文脈が失われ、大きすぎると無関係な情報が混ざることがあります。
Chunking
チャンク分割
長い文書を、検索や処理に使いやすいまとまりに分けること。
Chunking
長い文書を、検索や処理に使いやすいまとまりに分けること。
RAGでは文書全体ではなく、必要な部分を取り出すために分割します。文字数だけでなく、見出しや段落などの意味の区切りを考えて分ける方法もあります。
取扱説明書を「初期設定」「お手入れ」などの内容ごとに分割して検索できるようにします。
細かすぎると文脈が失われ、大きすぎると無関係な情報が混ざることがあります。