2つの平均の差は、本物のこともあれば、どの客がたまたま来たかという運にすぎないこともあります。t.test(order_value ~ variant, data = checkout_orders)は、2つのグループの真の平均が同じだったとしたら、観測された差がどれくらい意外かを問います。
結果はリストです。$p.valueがその意外さです:0.05未満が、差を統計的に有意と呼ぶ通常の線です。$conf.intは、データと矛盾しない真の差(最初のグループから2番目を引いたもの)の範囲です。0を含むなら、差がないこともまだありえます。$estimateは2つの平均を持っています。
Rの既定はWelchの検定で、両方のグループが同じだけばらつくとは仮定しません。そうしない理由がない限り、それを使ってください。
各クラスをスケジュール変更の前と後で測るように、同じものが2回測定されたときは、各ものをそれ自身と比べてください:t.test(after, before, paired = TRUE)です。2つの列を別々のグループとして扱うと、その対応が捨てられ、たいてい本当の変化が隠れてしまいます。