Uma diferença entre duas médias pode ser real ou apenas sorte de quais clientes calharam de chegar. t.test(order_value ~ variant, data = checkout_orders) pergunta quão surpreendente seria a diferença observada se os dois grupos tivessem a mesma média verdadeira.
O resultado é uma lista. $p.value é essa surpresa: abaixo de 0.05 é a linha usual para chamar uma diferença de estatisticamente significativa. $conf.int é uma faixa para a diferença verdadeira (primeiro grupo menos segundo) compatível com os dados; se incluir o 0, a ausência de diferença continua plausível. $estimate contém as duas médias.
O padrão do R é o teste de Welch, que não supõe que os dois grupos variem na mesma medida. Mantenha-o, a menos que tenha um motivo para não fazer isso.
Quando os mesmos itens são medidos duas vezes, como cada aula antes e depois de uma mudança de horário, compare cada item com ele mesmo: t.test(after, before, paired = TRUE). Tratar as duas colunas como grupos separados joga fora esse pareamento e costuma esconder mudanças reais.
Um teste de dois grupos, seu valor-p e seu intervalo, e um teste pareado.