依頼
Maple Cartのプロダクトオーナーは、チェックアウトの実験プラットフォームとロールアウトの判断を必要としています。
データ
割り当ては対象ユーザー単位で、計画上の比率は50/50です。観測された割り当てはAが6,000件、Bが4,000件で、Bの露出は3,200件、完了注文は240件です。チェックアウトエラーのガードレールを満たせませんでした。これらは練習問題用の架空の入力であり、調査結果ではありません。
完了の条件
安定した割り当ての設定、割り当てモデル、観測された指標、そして記載されたロールアウトルールに基づく確認済みの推奨を提出してください。
Maple Cartは2つのチェックアウトのレイアウトを比較したいと考えています。実験のオーナーは、対象ユーザー単位の割り当て、計画上の50/50の比率、そして判断指標として割り当てられた対象ユーザーあたりの完了注文数を指定しています。これらの言葉が母集団を定義します。新しいレイアウトをクリックした人だけを数えると、その影響を受けたユーザーが除外され、問いそのものが変わる可能性があります。
セッションをまたいで割り当てを維持し、露出を別に記録し、コンバージョンイベントを冪等に保ちます。再読み込みを繰り返しても、人がバリアント間を移動してはいけません。誰かがリフトを解釈する前に、実験には次のチェックも必要です:割り当て数、欠落した露出イベント、チェックアウトエラーのガードレール。割り当てが偏っていたりイベント収集が壊れていたりする結果では、比較が無効であっても一方のバリアントが優れているように見えることがあります。最終的な推奨では、与えられた件数と宣言された運用ルールを使い、割合だけから統計的有意性を主張することはしません。