Um valor atípico está muito distante do restante. Pode ser um erro (um preço digitado sem o separador decimal) ou um dado real (uma bicicleta alugada durante a tarde toda). Primeiro identifique-o e depois decida.
- Regra do intervalo interquartil: sendo
q1 e q3 os percentis 25 e 75 e iqr = q3 - q1, são sinalizados os valores acima de q3 + 1.5 * iqr ou abaixo de q1 - 1.5 * iqr. Os percentis quase não mudam quando alguns valores extremos são adicionados, por isso essa regra funciona com dados assimétricos.
- Escore z:
(x - x.mean()) / x.std(); são sinalizados os valores além de 3. Os próprios valores extremos puxam a média e aumentam o desvio padrão, então, em dados assimétricos, o escore z pode não detectá-los.
- clip:
x.clip(lower, upper) limita os valores em vez de remover linhas, então os totais e as contagens continuam batendo.
- Dentro de cada grupo: o que é extremo para uma luminária é normal para um sofá. Compare cada valor com o seu próprio grupo usando
groupby(...).transform(...).
A maioria dos trajetos é curta; os do percentil superior são muito mais longos.