LLM observability dan trace terstruktur
Identitas trace
Trace yang berguna menghubungkan request dengan versi dan hasil yang menjelaskannya. Pertahankan ID request, revisi prompt, revisi sumber, status akhir, serta satuan penggunaan rekaan yang diwajibkan tugas. Satuan tersebut adalah data pengajaran, bukan token provider yang diukur. Baris log yang hanya menyatakan “gagal” tidak dapat membedakan kegagalan retrieval dari penolakan penulisan.
Pada aplikasi angkutan rekaan, suatu alat mengalami timeout setelah request penulisan. Simpan identitas operasinya agar proses pemulihan dapat merekonsiliasi hasil yang belum pasti. Mencoba lagi dengan identitas baru dapat menggandakan tindakan meskipun trace semula tampak gagal.
Pembatasan data
Metadata trace tidak memberi izin untuk menyimpan seluruh prompt atau dokumen. Samarkan field sensitif sesuai kebijakan yang diberikan. Pertahankan ID nonsensitif yang diperlukan untuk penyelidikan. Uji field bertingkat selain nilai pada tingkat teratas.
Notebook ini menghasilkan catatan lokal dari kejadian rekaan. Notebook tidak terhubung ke vendor observability atau mengukur layanan produksi. Lanjutkan dengan penyamaran data, hasil alat yang belum pasti, dan penyebut perhitungan alert.