异常数据处理——3σ原则、箱线图

VIP异常数据处理——3σ原则、箱线图
异常数据处理——3σ原则、箱线图用不包括异常值的剩余数据的均值替换、删除DataFrame中某列有异常值的整行等方法
开通可读全文 ·9k 人阅读
最低0.47元/天 解锁文章

首先三连问: 

异常数据是什么呢?

偏离大部分数据。

但是呢大家会不会有疑惑,疑惑异常数据都是不好的吗?

不是的。还是要看问题的,当我们在信用卡欺诈,数据中我们往往找的就是异常数据。

那我们怎么能预测出来呢?

(1)3σ原则

(2)箱线图

(3)聚类(有时间再补充)

一、3σ原则

3σ原则假设一组检测数据含有随机误差,数据进行计算处理得到标准差,按概率函数确定一个区间,认为误差超过这个区间的就属于异常值。

正态分布:

代码:

import pandas as pd
import numpy as np
def three_sigma(Ser):
    rule = (Ser.mean()-3*Ser.std()>Ser1) | (Ser.mean()+3*Ser.std()< Ser)
    index = np.arange(Ser1.shape[0])[rule]
    outrange = Ser.iloc[index]
    return outrange

 二、箱线图

箱型图提供了识别异常值的标准

VIP Python实现基于3σ原则的异常值检测 异常值是指样本中的个别值明显偏离其余的观测值。异常值的存在会对数据分析、建模产生干扰,因此需要对数据集进行异常值检测并进行异常值删除或修正,以便后续更好地进行数据分析和挖掘。对于异常值检测,有描述性统计、3σ原则方法、箱线图、基于聚类的方法等,而3σ原则是最常使用的异常值检测方法之一。在3σ原则下,一般认为数据的取值99.7%的概率集中在(μ-3σ,μ+3σ)区间内(μ为平均值,σ为标准差),超出这个范围的可能性仅占0.3%,属于极个别的小概率事件,因此将超出(μ-3σ,μ+3σ)范围的值认为是异常值。 开通可读全文·1.7w 阅读·7 点赞·131 收藏 阅读全文

相关推荐

数据处理——异常值检测

一、3σ原则   3σ原则又称为拉依达准则,该准则具体来说,就是先假设一组检测数据只含有随机误差,对原始数据进行计算处理得到标准差,然后按一定的概率确定一个区间,认为误差超过这个区间的就属于异常值。   正态分布状况下,数值分布表: 数值分布 在数据中的占比 (μ-σ,μ+σ) 0.6827 (μ-2σ,μ+2σ) 0.9545 (μ-3σ,μ+3σ) 0...

WoLykos 3583

使用3sigma原则去除数据表中的极端值

本文使用3sigma解决数据表中出现的极端值问题,其中包括基本原理、使用原则(检验方法)、代码展示这3个部分

qq_51397866的博客 4383

常用的检测数据异常值方式,以及异常数据如何处理!!

对数据进行异常值清洗有很多好提高数据质量:异常值可能是由于数据采集、录入或处理过程中的错误或异常情况导致的,这些值会严重影响数据的质量和可靠性。清洗掉异常值可以提高数据的准确性和一致性,为后续的数据分析和建模提供更好的基础。避免错误的结论:异常值可能会对数据分析产生很大的影响,尤其是对于一些依赖于数据分布和统计特性的分析方法。如果忽视异常值,可能会导致错误的结论或模型预测结果。清洗掉异常值可以避免这种情况,提高分析的准确性和可靠性。保护隐私和安全。

qlkaicx的博客 3634

GWAS表型处理实战指南:从异常值剔除到数据标准化

本文是GWAS表型处理的实战指南,强调精细处理是确保分析结果可靠性的关键。文章系统讲解了从异常值识别与剔除(如使用3σ原则和箱线图法)、正态性检验与数据转换,到多年多点数据的BLUP值计算以及数据标准化的完整流程。旨在帮助研究者获得干净、可靠的表型数据,为后续关联分析奠定坚实基础,有效避免假阳性结果。

weixin_29055137的博客 422

高斯分布原理与应用:从基础到Python实践

高斯分布(正态分布)是统计学中最基础的概率分布模型,其钟形曲线特征由均值μ和标准差σ完全确定。该分布在自然界广泛存在,中心极限定理保证了大量独立随机变量和的收敛性。在工程实践中,高斯分布常用于描述测量误差、生物特征数据等场景,Python的NumPy库提供了便捷的随机数生成和统计分析工具。理解高斯分布的特性对机器学习数据预处理、模型评估指标计算等环节至关重要,特别是在处理样本统计量时需要注意均值与中位数的选择、标准差的经验解释规则等实践要点。通过可视化分析和统计检验,可以验证数据的高斯性假设并指导后续建模决

weixin_30363981的博客 405

数据处理之异常值处理

异常值是指那些在数据集中存在的不合理的值,需要注意的是,不合理的值是偏离正常范围的值,不是错误值。比如人的身高为-1m,人的体重为1吨等,都属于异常值的范围。虽然异常值不常出现,但是又会对实际项目分析有影响,造成结果的偏差,所以在数据挖掘的过程中不能不重视。 异常值出现的原因 数据集中的异常值可能是由于传感器故障、人工录入错误或异常事件导致。如果忽视这些异常值,在某些建模场景下就会导致结论的错误(如线性回归模型、K均值聚类等),所以在数据的探索过程中,有必要识别出这些异常值并处理好它们。 异常值检测 简单统

kejiayuan0806的博客 1万+

2、异常值(outliers)检测:业务法、Z-score、3σ准则、箱线图

三、3σ\sigmaσ准则(异常值检测)   3σ\sigmaσ准则又称拉依达准则,是指先假设一组检测数据只含有随机误差,对其进行计算处理得到标准偏差,按一定概率确定一个区间,认为凡超过这个区间的误差,就不属于随机误差而是粗大误差,含有该误差的数据应予以剔除。   3σ准则3\sigma准则3σ准则,仅局限于对正态或近似正态分布的样本数据处理,它是以测量次数充分大为前提的。   在正态分布中σ代表标准差,μ代表均值。x=μ即为图像的对称轴,如下图: 3σ原则为: p(μ-σ<X<μ+σ)中的

qq_34120015的博客 6954

爱加密SFSecurity加固逆向分析:从Frida Hook到DEX/SO解密实战

在移动应用安全领域,代码加固是保护核心逻辑与数据的关键技术。其基本原理是通过加密、混淆和运行时保护等手段,防止应用被逆向分析与篡改。这项技术的核心价值在于为开发者提供商业级的安全保障,尤其适用于金融、游戏、阅读等对代码安全要求较高的应用场景。以爱加密企业版SFSecurity方案为例,它构建了从DEX到Native层的立体化防护体系。本次实战通过Frida动态插桩技术,深入剖析了如何系统性地绕过其反调试机制,并精准Hook解密函数,成功从内存中Dump出被保护的原始DEX与SO文件,完整还原了应用逻辑,为安

weixin_42539414的博客 907

深度学习中的编码器-解码器架构

解码的作用:转换为人类可理解的形式,解码器的任务是将编码器生成的中间表示(上下文向量)转换回人类可理解的输出形式(如翻译后的文本、生成的图像描述等)。解码器通过逐步生成输出序列,使得最终的输出符合人类的理解和需求。编码的作用:转换为机器可理解的形式,编码器将输入数据(如文本、图像等)转换为一种机器更容易处理和理解的形式,即上下文向量或编码。在深度学习中,编码器(Encoder)解码器(Decoder)是常见的神经网络架构,通常用于处理序列到序列(seq2seq)任务,如机器翻译、文本摘要和图像描述等。

xxk1323的博客 1096

适合初学者的ROS机器人教程(1): Ubuntu下ROS创建自己的包和使用github下载的包

ROS如何创建自己的包 1. 首先创建catkin工作空间(如果你以及有了请忽略) $ mkdir catkin_ws # 创建一个文件夹里面计划放我们的项目,ws是workspace的缩写 $ cd catkin_ws # 将当前工作文件夹切换到catkin_ws这个文件夹 ~/catkin_ws$ catkin_make # 执行catkin_make创建一ROS项目 此时你的catkin_...

@司南牧|知乎|博客|易懂教程|李韬 3247

从NASA DataPort下载到PyTorch Dataset:手把手处理USGS光谱库的AVIRIS数据

本文详细介绍了如何从NASA DataPort下载USGS光谱库的AVIRIS高光谱数据,并将其转化为PyTorch Dataset对象。内容涵盖数据获取、预处理、辐射定标及高效数据加载技巧,特别针对AVIRIS数据的水吸收波段剔除和波段分组标准化进行了重点讲解,为环境监测、地质勘探等领域的研究者提供实用指南。

weixin_30607659的博客 288

YOLOv9改进策略 | Conv篇 | 2024最新ECCV最新大感受野的小波卷积WTConv助力YOLOv9有效涨点

本文给大家带来的改进机制是一种新的卷积层,称为WTConv(小波卷积层),它利用小波变换(WT)来解决卷积神经网络(CNN)在实现大感受野时遇到的过度参数化问题。WTConv的主要目的是通过对输入数据的不同频率带进行处理,使CNN能够更有效地捕捉局部和全局特征,WTConv成功解决了CNN在感受野扩展中的参数膨胀问题,提供了一种更为高效、鲁棒且易于集成的卷积层解决方案,我将其用于二次创新YOLOv9中的RepNCSPELAN4机制可以减少一定的参数量和计算量,达到一个可观的轻量化作用。

Snu77的博客 1547

uniapp - web-view嵌套H5网页白屏问题,<web-view>页面跳转出现白屏情况,强力解决uniapp嵌套webview页面时出现无法加载并白屏(无论本地还是线上H5网页链接都能解决)

uniapp微信小程序,uniapp APP端,uni-app web-view嵌套H5项目白屏问题分析及解决,uniapp嵌套webview页面时,出现白屏,uniapp <web-view>页面跳转出现白屏解决方法,uniapp <web-view>页面跳转出现白屏解决方法,解决uniapp的web-view打开网页在老手机上出现白屏的问题,uni-app web-view白屏处理,引入本地网页白屏,WebView 加载不出网页,一片空白webview白屏加载不出来,使用webview加载链接后白屏,u

🏆 前端领域优质创作者 1万+

【Flink】FlinkSQL如何触发执行计算

Table (通过 StatementSet.addInsert() 输出给某个 Sink)和 INSERT 语句 (通过调用 StatementSet.addInsertSql())会先被缓存到 StatementSet 中,StatementSet.execute() 方法被调用时,所有的 sink 会被优化成一张有向无环图。该方法是用来将一个表的内容插入到目标表中,一旦该方法被调用, TABLE API 程序立即被翻译。该方法是用来执行一个 SQL 语句,一旦该方法被调用, SQL 语句立即被翻译。

一杯咖啡半杯糖的博客 1009

2025年GESP12月认证C++一级真题解析

摘要 本文包含13道C++编程选择题,每题2分,涉及语法、运算符、循环、条件判断等知识点。题目考察了变量命名规则、运算符优先级、赋值语句、循环控制、格式化输出等内容。部分题目解析与标答存在差异,例如第4题逗号表达式输出应为5但标答为4,第6题赋值运算结果应为4 4但标答为3 4等。这些题目适合用于检验基础编程能力,但需注意部分标答可能存在争议,建议结合具体编译环境验证。最后一题考察"漂亮数"判断,要求填写数字某位能被3整除的条件表达式。

lan_in的博客 768

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

上一篇: 机器学习——优化超参数(交叉验证)
下一篇: Python——时间序列的可视化、日期显示格式
泡泡怡
博客等级 码龄4年 3万+粉丝 78原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址