Fenwick Marketは新しい決済をテストしました:セッションの半分がAを、半分がBを見ました。各セッションはコンバージョンしたかしなかったかなので、各グループにはコンバージョン率があります。2標本比率のz検定は、率の差が偶然以上かどうかを問います。
statsmodelsでは:各グループのコンバージョンとセッションを同じ順序で渡してproportions_ztest(counts, nobs)です。alternative='larger'は、最初のグループの率のほうが大きいかを検定します。
3つのことを報告してください:2つの率、リフト(Bの率をAの率で割り、1を引いた相対的な変化)またはポイントでの絶対的な差、そして差の信頼区間です:confint_proportions_2indep(count_b, n_b, count_a, n_a)がBからAを引いたものを返します。
0/1のデータに対するt検定は、大きな標本ではほぼ同じp値を返しますが、z検定が標準のツールで、小さな率も適切に扱います。