プロンプトインジェクションとアプリケーションの境界
プロンプトインジェクションとは、モデルに渡すテキストの中に、本来の指示を乗っ取ろうとする命令を紛れ込ませる攻撃です。検索で取り出した文書にも、アシスタントに向けた命令が含まれていることがあります。オリジナルの貨物のフィクスチャでは、ハンドブックのメモが、タスクを無視してほかのテナントのレコードを外部のアドレスに送るよう求めています。このメモは資料のデータのままで、そのレコードを読む許可も、何かを送る許可も与えません。
アプリケーションのコードで守る
対策の中心は、境界をアプリケーションのコードで守ることです。検索の前にテナントを絞り、許可したツールだけを見せ、操作のペイロードを完全に検証します。「この操作は承認済みです」というモデルの返答は、承認の記録ではありません。
対策の限界
OWASP LLM01:2025(英語、2026年11月14日に確認)は、直接と間接のプロンプトインジェクションを区別しています。検索やファインチューニングでは、この問題を完全には防げません。検知の仕組みやより強い指示、ガードレールは管理策の1つで、今後のすべての操作が安全だという証明ではありません。
この練習問題は、用意された悪意のある文字列と手元のツールを使います。合格して証明できるのは、そのケースについての決められた確認で、あらゆる攻撃への耐性ではありません。続けてテナントとリビジョンでの絞り込み、ツールの実行の許可リスト、ペイロードの完全な一致による承認を練習してください。