Outlier adalah nilai yang jauh dari yang lain. Bisa jadi itu kesalahan (harga yang diketik tanpa tanda desimal) atau data nyata (sepeda yang tidak dikembalikan sepanjang sore). Temukan dulu, lalu putuskan.
- Aturan IQR: dengan
q1 dan q3 sebagai persentil ke-25 dan ke-75 serta iqr = q3 - q1, nilai di atas q3 + 1.5 * iqr atau di bawah q1 - 1.5 * iqr ditandai. Persentil nyaris tidak bergeser saat beberapa nilai ekstrem ditambahkan, sehingga aturan ini bekerja pada data yang miring.
- Skor z:
(x - x.mean()) / x.std(); nilai yang melewati 3 ditandai. Nilai ekstrem itu sendiri menarik rata-rata dan memperlebar simpangan baku, sehingga pada data yang miring skor z bisa melewatkannya.
- clip:
x.clip(lower, upper) membatasi nilai tanpa menghapus baris, sehingga total dan jumlah tetap cocok.
- Di dalam grup: yang ekstrem bagi sebuah lampu adalah hal biasa bagi sebuah sofa. Bandingkan setiap nilai dengan grupnya sendiri, memakai
groupby(...).transform(...).
Sebagian besar perjalanan singkat; satu persen teratas jauh lebih lama.