依頼者: Priya Raman(オンライン書店Lumen Books、プロダクトマネージャー)
理由: 新しい決済ページ(B)を古いページ(A)と2週間比べてきて、Priyaは金曜日に、それを公開するかどうかを決めなければなりません。
データ: test_summaryはページごとのセッションと注文、checkout_ordersはページごとに20件の注文額の標本です。
完成の目安: コンバージョン率とリフト、コンバージョンの有意性の検定と注文額の有意性の検定、ページごとのセッションあたりの売上、そして判断です:Bを公開する、Aを残す、またはもっと長く続けるかです。
A/Bテストは、訪問者を古いページ(A)と新しいページ(B)に無作為に分けます。分け方が無作為なので、偶然が生み出すより大きな違いは、ページによるものと考えられます。よい分析は、主な指標を確かめ、ほかに何が動いたかを確かめ、その両方をビジネスが気にする1つの数値にします。各ステップは同じスクリプトに加えていきます。