外れ値は、ほかから大きく離れた値です。誤り(小数点なしで入力された価格)のこともあれば、本当の値(午後の間ずっと借りられていた自転車)のこともあります。まず見つけ、その後判断してください。
- IQRのルール:
q1とq3を25パーセンタイルと75パーセンタイル、iqr = q3 - q1として、q3 + 1.5 * iqrより上かq1 - 1.5 * iqrより下の値に印を付けます。パーセンタイルは極端な値が少し加わってもほとんど動かないので、偏ったデータでも使えます。
- zスコア:
(x - x.mean()) / x.std()です。3を超える値に印を付けます。極端な値そのものが平均を引っ張り、標準偏差を広げるので、偏ったデータではzスコアがそれを見逃すことがあります。
- clip:
x.clip(lower, upper)は、行を除く代わりに値に上限と下限を設けるので、合計と件数はそのまま合います。
- グループの中で:ランプにとって極端な値も、ソファにとっては普通です。
groupby(...).transform(...)を使って、各値をそのグループと比べてください。