Una diferencia entre dos medias puede ser real o solo la suerte de qué clientes llegaron. t.test(order_value ~ variant, data = checkout_orders) pregunta cómo de sorprendente sería la diferencia observada si los dos grupos tuvieran la misma media real.
El resultado es una lista. $p.value es esa sorpresa: por debajo de 0.05 es el límite habitual para llamar estadísticamente significativa a una diferencia. $conf.int es un rango para la diferencia real (el primer grupo menos el segundo) compatible con los datos; si incluye el 0, que no haya diferencia sigue siendo plausible. $estimate contiene las dos medias.
La prueba por defecto de R es la de Welch, que no supone que los dos grupos varíen lo mismo. Déjala salvo que tengas un motivo.
Cuando los mismos elementos se miden dos veces, como cada clase antes y después de un cambio de horario, compara cada elemento consigo mismo: t.test(after, before, paired = TRUE). Tratar las dos columnas como grupos separados tira esa relación y suele ocultar cambios reales.
Una prueba de dos grupos, su p-valor y su intervalo, y una prueba pareada.