Harbor Bikesは、新しい通話スクリプトの前と後で、各サポート担当者の平均通話時間を測定しました。担当者どうしは大きく異なりますが、各担当者は少しずつ変わりました。対応のあるt検定は各担当者の差について計算するので、担当者の間の差は消えます。
SciPyでは:stats.ttest_rel(after, before)が、後から前を引いたものの平均を検定します。これは、差を0と比べる1標本t検定と同じです。
2つの列を独立したグループとして扱う(ttest_ind)と、対応が無視されます。すると担当者の間のばらつきが変化を覆い隠し、本当の効果がノイズのように見えることがあります。
平均の変化の区間は、差についてのt区間です。