首先三连问:
异常数据是什么呢?
偏离大部分数据。
但是呢大家会不会有疑惑,疑惑异常数据都是不好的吗?
不是的。还是要看问题的,当我们在信用卡欺诈,数据中我们往往找的就是异常数据。
那我们怎么能预测出来呢?
(1)3σ原则
(2)箱线图
(3)聚类(有时间再补充)
一、3σ原则
3σ原则假设一组检测数据含有随机误差,数据进行计算处理得到标准差,按概率函数确定一个区间,认为误差超过这个区间的就属于异常值。
正态分布:

代码:
import pandas as pd
import numpy as np
def three_sigma(Ser):
rule = (Ser.mean()-3*Ser.std()>Ser1) | (Ser.mean()+3*Ser.std()< Ser)
index = np.arange(Ser1.shape[0])[rule]
outrange = Ser.iloc[index]
return outrange
二、箱线图
箱型图提供了识别异常值的标准
3583



被折叠的 条评论
为什么被折叠?



