Um modelo precisa de uma comparação barata de construir e fácil de explicar. Para um resultado numérico, prever a média do treino dá um modelo de referência útil para o erro quadrático. Para um resultado de classificação, prever a classe majoritária do treino dá um modelo de referência útil para a acurácia. Esses modelos ignoram os valores de entrada de propósito.
Mesmo assim, o modelo de referência precisa aprender a constante dele a partir dos rótulos de treino. Usar os rótulos de teste para escolher essa constante contamina a comparação, ainda que o estimador não tenha coeficientes. O modelo de referência adequado também depende da métrica: a média minimiza o erro quadrático, enquanto uma constante igual à mediana minimiza o erro absoluto. Estas tarefas pedem uma estratégia específica para que você veja a diferença. Um classificador de classe majoritária pode ter uma acurácia razoável sem encontrar nenhum dos casos positivos, algo que as lições de métricas vão revelar.
A média é a constante que minimiza o erro quadrático nas linhas de treino. Os alvos reservados não devem influenciar essa constante.