RAG chunking dan batas sumber
Isi chunk
Chunk adalah bagian sumber yang dapat diambil kembali melalui pencarian. Simpan identitas dokumen dan revisinya bersama teks. Overlap dapat mempertahankan konteks kalimat di dekat batas potongan, tetapi teks duplikat tidak boleh dihitung sebagai dua sumber pendukung yang independen.
Pecah catatan pemeliharaan rekaan menjadi potongan dengan batas ukuran. Pertahankan potongan pendek terakhir. Dokumen kosong tidak seharusnya menghasilkan chunk berisi konten. Simpan ID yang stabil agar kutipan dapat diperiksa terhadap potongan tepat yang diambil setelah pengindeksan.
Batas pemecah lokal
Panduan retrieval, yang diperiksa pada 14 November 2026, menjelaskan pilihan chunking dan pengindeksan hosted. Latihan ini menerapkan pemecah lokal sederhana. Ukuran yang dipilih merupakan kebutuhan tugas, bukan ukuran chunk terbaik untuk semua koleksi atau rekomendasi hasil pengukuran universal.
Lanjutkan dengan vektor data uji dan proyek indeks buku panduan yang meneruskan pekerjaan antarlangkah. Evaluasi koleksi dokumen yang akan digunakan sebelum memilih batas chunk untuk produksi.