LLMのオブザーバビリティと安全なトレース
LLMのオブザーバビリティ(observability)で役に立つトレースは、1つのリクエストを、その結果を説明できる版と結果に結び付けます。課題が求める、リクエストのID、プロンプトのリビジョン、ソースのリビジョン、最終の状態、渡された架空の使用量の単位を残してください。この単位は学習用のデータで、提供元のトークンを測ったものではありません。状態だけでは足りません。「failed」とだけ書かれたログでは、検索の失敗と拒否された書き込みを区別できません。
操作のID
架空の貨物のアプリケーションで、書き込みのリクエストのあとにツールがタイムアウトしたとします。復旧で不確かな結果を照合できるように、操作のIDを残します。元のトレースが失敗に見えても、新しいIDで再試行すると、同じ操作が重複することがあります。
データを最小限にする
トレースのメタデータがあるからといって、すべてのプロンプトや文書を保存してよいわけではありません。渡された方針に沿って機密の項目を伏せ、調査に必要な機密でないIDは残します。上の階層の値だけでなく、入れ子になった項目もテストしてください。
このノートブックは、架空のイベントから手元でレコードを作ります。オブザーバビリティの製品に接続したり、本番のサービスを測ったりはしません。続けてトレースの再帰的な伏せ字、不確かな変更からの回復、監視の分母を練習してください。