RAGのチャンク分割と元の文書の境界
RAGのチャンクは、検索で取り出せる元の文書の一部で、新しい独立した根拠ではありません。チャンク分割では、テキストと一緒に、文書のIDとリビジョンを残してください。オーバーラップを付けると、境界の近くの文の前後関係を保てます。ただし、重なって2回出てくるテキストを、互いに独立した2つの根拠として数えてはいけません。
メンテナンスのメモの例
架空のメンテナンスのメモを、決まった大きさの部分に分けます。最後の短い部分は捨てずに残します。空の文書からは、中身のあるチャンクは1つもできません。インデックスを作ったあとでも、引用と取り出したチャンクを正確に照らし合わせられるように、変わらないIDを保存しておきます。
手元の練習の限界
検索のガイド(英語、2026年11月14日に確認)は、ホスト型のチャンク分割とインデックスの選択肢を説明しています。この練習問題で実装するのは、小さな手元の分割処理です。決められたチャンクサイズは課題の条件で、どの資料にも当てはまる最適な大きさや、測定にもとづく推奨ではありません。
続けて決定的な埋め込みのフィクスチャと、積み重ねて作るプロジェクト:ハンドブックのインデックスを練習してください。本番のチャンクの境界を決める前に、実際の資料で評価しましょう。