国または地域と言語

    国または地域と、言語を選んでください。

    おすすめ

      すべての国と地域

        キャラクターを選ぶ

        上部のバーとプロフィールに表示されます。いつでも変更できます。

        言語モデルを使った開発コース

        取り分けたデータのIDの境界

        言語モデルを使った開発を開いています
        取り組み中

        LLMの評価と取り分けたケース

        LLMやRAGの評価方法でまず守ることは、プロンプトを直すのに使ったケースを、評価の根拠にしないことです。直すのに使ったケースは、もう汎化の独立した証拠になりません。開発用と取り分けた評価用のデータセットは、ケースのIDが重ならないようにします。架空の方針のアシスタントなら、開発用の例にないソースのリビジョンを持つケースを評価用に残し、結果に点を付ける前に、IDで分け方を確かめてください。

        比較と評価指標

        比較に使うケースと版は固定します。出力がなかったケースや、新しく失敗したケースは、評価指標の分母からこっそり外さずに報告します。平均が良くなった候補でも、必ず守るべきテナントの境界を破るなら、リリースは不合格です。

        手元の評価のハーネス

        このコースは、用意された出力をPythonのはっきりしたルールで採点します。学べるのは、分け方の正しさ、分母、リリースのゲートで、実際のLLMの質を測るものではありません。続けてケースごとの安全性のゲートと固定した回帰の比較を練習してください。

        製品の仕組みは変わります。OpenAIのEvalsのドキュメント(英語、2026年11月14日に確認)は、ホスト型のEvalsを非推奨で読み取り専用とし、11月30日に終了する予定だと記しています。このレッスンで新しいホスト型のEvalsのジョブを作ることはありません。方法を実際の環境に移すときは、提供元の最新のドキュメントを使ってください。

        Your Work Gym account

        Save your progress and pick up on another device. Your browser's progress comes with you.

        or

        You can keep practicing without an account.

        プランを変更

        価格を確認しています

        ヘルプとフィードバック

        質問、うまく動かない点、アイデアなどをお寄せください。メールで返信します。

        どのような内容ですか?

        返信のためだけに使用します。