ガードレールを伴う決済画面の実験
Elm Ticketsは、ユーザー単位の無作為な割り当てで、新しい決済画面をテストしています。対照群は割り当てられた1,000人のユーザーから200件の購入と8件の返金、介入群は割り当てられた1,000人のユーザーから230件の購入と23件の返金です。チームには、購入の増加と顧客への害の両方を考慮した展開の判断が必要です。
ルーブリックと準備求められる内容: mid レベルの回答 · 準備に4レッスン
ミドル の基準
- 前提、方法、結果を結び付けてください:購入しなかった人を除くと無作為に割り当てた対象が変わってしまうので、私は割り当てられたユーザー1人あたりの購入を、主要なITT(intent-to-treat)の結果指標として使います。私は共通のフォローアップの期間を持つ返金のガードレールを定義し、まずログの記録と割り当てを確認します。
- 結果を左右するエッジケースをテストしてください:これらの条件が因果的な解釈を支えるので、私は無作為な割り当て、サンプル比率、接触のログ、ユーザー同士が影響し合うかどうかを確認します。私は事前に定めた結果指標について不確かさを推定し、最初に有利な結果が出た時点で止めないようにします。
- 責任を持つ検証や運用のチェックを説明してください:購入が増えただけでは顧客にとってよい結果になったことは確かめられないので、私は返金が出そろうことと、ガードレールを確認する間、全面的な展開を保留します。私は見出しの率から勝ちを宣言するのではなく、両方の効果と不確かさを報告し、その後、判断のルールを合意します。