摘要:本篇博客主要讲解了数学建模入门的数据预处理知识和常用方法,涵盖数据清洗、数据集成、数据规约和数据变换,并在最后对特征工程进行了简单的介绍。内容较长,建议收藏后阅读

目录
一、数据预处理概述
核心要点:
- 数据处理包括:数据采集、数据存储、数据预处理、数据分析、数据可视化、决策
- 数据处理中最重要的就是:数据预处理
- 数据预处理目的是提高数据的质量,使得我们能使用更高质量的数据进行后续处理
- 数据预处理包括:数据清洗、数据集成、数据规约、数据变换
数据清洗:去除重复数据、处理缺失值、去除异常值等。
数据集成:将来自不同数据源的数据进行整合,例如将不同表格中的数据进行合并。
数据规约:对数据进行压缩、抽样等处理,以便于存储和处理。
数据变换:将数据从一种格式转换为另一种格式,例如将文本数据转换为数值型数据。
二、数据清洗

数据清洗是指对采集到的原始数据进行审查和校验的过程,目的是纠正其中的错误、去除重复及无效的数据、补充缺失值等,从而提高数据质量,使其更适合后续的数据分析、挖掘。
2.1缺失值处理
数据清洗包含多项操作,其中缺失值处理是比较重要的一种。
试想一下,一个数据集若是存在重复值、异常值或者其他噪声,就算建立的模型不够精确,尚且还可建立模型进行求解;但若是存在重要特征的缺失值,连建立模型都寸步难行。
- 不予处理:若非重要特征,缺失值虽然影响模型的性能,但是不妨碍数据的建模(有一些模型可能要求不能含有缺失值,还是要视情况而定)。如果你的缺失值占比小,或者缺失值所在的特征对模型影响不大,可以考虑不予处理。
- 删除法:当你的数据量较大或者缺失值的这条数据对模型影响程度很小,可以考虑直接删除这条数据。例如:在Python中可以使用df.dropna()函数对存在缺失特征的数据进行删除。
- 填补法:均值/中位数/众数插补、固定值插补、最近邻插补、回归方法插补、插值法插补
其他填补法描述,具体参考:数据预处理,插值拟合及回归分析_三样条插值法 缺失值-CSDN博客
Python中的使用: #使用feature统计值对NA进行填充 df['feature'].fillna(df['feature'].mean()) #均值插补 df['feature'].fillna(df['feature'].median()) #中位数插补 df['feature'].fillna(df['feature'].mode()) #众数插补
2.2异常值处理
异常值是指那些偏离正常范围的值,不是错误值,比如在调查睡眠时间时,问卷中有90都集中在5-9小时,但是存在极少睡2小时或18小时的,这时就可以将其视为异常值。
- 异常值出现频率较低,但又会对实际项目分析造成偏差
- 异常值一般用过箱线图法(分位差法)或者分布图(标准差法)来判断
- 异常值往往采取盖帽法或者数据离散化
异常值检测:一般地异常值检测方法可用箱线图和分布图来查看。
箱线图:
分布图:
异常值处理:常见的有分位点(箱线图)法、标准差法、盖帽法和修正法,其他的基于聚类的方法、孤立森林法等。
- 不予处理:跟缺失值一样,不处理同样可以建模,但是会影响模型的性能,不推荐
- 分位点法:通过箱线图的四分之一分位点和四分之三分位点对异常值进行删除
# 定义函数除去异常值,以IQR方法为例 def remove_outliers(df, columns): for col in columns: q1 = df[col].quantile(0.25) q3 = df[col].quantile(0.75) iqr = q3 - q1 lower_bound = q1 - 1.5 * iqr upper_bound = q3 + 1.5 * iqr df = df[(df[col] >= lower_bound) & (df[col] <= upper_bound)] return df
- 标准差法:通过数据分布的标准差进行异常值的删除
"""使用标准差法去除数据框中指定列的异常值。 参数: df (pandas.DataFrame): 包含数据的DataFrame。 columns (list): 需要去除异常值的列名列表。""" def remove_outliers(df, columns): for col in columns: mean_value = df[col].mean() # 计算列的均值 std_value = df[col].std() # 计算列的标准差 lower_bound = mean_value - 3 * std_va


6783



被折叠的 条评论
为什么被折叠?



