UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式

VIPUA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式
UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式这个系列介绍高维统计,一些需要知道的结论可以参考UA MATH 564与566两个系列,分为两大部分,高维的概率论相关结果、高维的统计模型。概率论相关结论分六个部分介绍:概率不等式、高维随机向量、随机矩阵、Concentration without Independence、二次型、随机过程。...
开通可读全文 ·2.7k 人阅读
最低0.47元/天 解锁文章

UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式

MATH 564系列我们已经介绍了几个基本的概率不等式:Markov不等式、Chebyshev不等式、Chernoff不等式,这一类不等式有一个共同的名字,叫concentration inequalities,因为它们反映的是概率集中到分布的中心(比如均值)的程度,所以我觉得翻译成集中度不等式是还可以的,中文的wiki用的是集中不等式,我觉得含义也差不多。在概率不等式0中我们讨论了Chebyshev不等式,它在大样本时非常不sharp,所以这一讲的目标是基于Markov不等式推出更sharp一点的不等式,也就是Hoeffding不等式与Chernoff不等式。

Hoeffding不等式

假设 X i ∈ [ m i , M i ] , i = 1 , ⋯   , N X_i \in [m_i,M_i],i=1,\cdots,N Xi​∈[mi​,Mi​],i=1,⋯,N, ∀ t > 0 \forall t>0 ∀t>0, 下面的不等式被称为Hoeffding不等式,
P ( ∑ i = 1 N ( X i − E X i ) ≥ t ) ≤ exp ⁡ ( − 2 t 2 ∑ i = 1 N ( M i − m i ) 2 ) P \left( \sum_{i=1}^N (X_i - EX_i)\ge t \right) \le \exp \left( -\frac{2t^2}{\sum_{i=1}^N (M_i - m_i)^2} \right) P(i=1∑N​(Xi​−EXi​)≥t)≤exp(−∑i=1N​(Mi​−mi​)22t2​)

完整的证明可以参考Hoeffding (1963)的文章,这里证明一个特殊情况, X i ∼ i i d B e r ( 1 / 2 ) X_i\sim_{iid}Ber(1/2) Xi​∼iid​Ber(1/2) (对称Bernoulli分布):
P ( ∑ i = 1 N a i X i ≥ t ) ≤ exp ⁡ ( − t 2 2 ∑ i = 1 N a i 2 ) P \left( \sum_{i=1}^N a_iX_i\ge t \right) \le \exp \left( -\frac{t^2}{2\sum_{i=1}^N a_i^2} \right) P(i=1∑N​ai​Xi​≥t)≤exp(−2∑i=1N​ai2

VIP Hoeffding不等式与Occam边界:机器学习泛化理论解析 概率不等式和泛化边界是机器学习理论的重要基石。Hoeffding不等式作为经典概率工具,为有界随机变量的和提供了偏离期望的概率上界,其核心价值在于不依赖具体分布的特性。在监督学习中,该不等式保证了经验误差向真实误差的指数级收敛,为模型泛化提供了理论保障。Occam边界则形式化了奥卡姆剃刀原则,通过控制假设空间复杂度来确保泛化性能,其推导过程巧妙结合了Hoeffding不等式与Union Bound技术。这些理论在模型选择、样本量估算等工程实践中具有重要指导意义,特别是在处理深度学习等高VC维模型时,能有效平 开通可读全文·547 阅读·12 点赞·5 收藏 阅读全文

相关推荐

切诺夫界 (Chernoff bounds)

在本文中我们将首先给出若干结论, 再给出切诺夫界及其证明.

赵宗义的专栏 1万+

斯坦福大学机器学习——误差理论(Error Theory)

一、偏倚(bias)和方差(variance) 在讨论线性回归时,我们用一次线性函数对训练样本进行拟合(如图1所示);然而,我们可以通过二次多项式函数对训练样本进行拟合(如图2所示),函数对样本的拟合程序看上去更“好”;当我们利用五次多项式函数对样本进行拟合(如图3所示),函数通过了所有样本,成为了一次“完美”的拟合。 图3建立的模型,在训练集中通过x可以很好的预测y,然而

linkin1005的专栏 3万+

概率与统计机器学习中常用的不等式机器证明

本文档介绍了统计机器学习领域常用的不等式及其证明过程。其中包括了Chernoff不等式,Markov不等式,Chebyshev不等式,Hoeffding不等式,大数定律,中心极限定律等

常用不等式

常见初等不等式,有详细的论证,掌握更多的不等式,会提高自己而数学能力。

基本不等式证明伊朗96 (原创)

此题最初由宁波大学陈计教授于 年提出,刊登在 杂志上,得到了读者长达四、 五年的持续关注,而证明方法普遍都极为复杂。当时甚至包括现在,很多不等式爱好者都拒绝进行大规模的恒等变形,试图通过巧妙的不等变形来证明一切形式简洁的不等式。命题者想通过※式表明,存在这样一部分不等式非得进行复杂的恒等变形不可。可是伊朗人不相信于是把※选入年的赛题 希望借此引起不等式高手的注意并获得简证。可是十几年过去了,结果只有两个:一是帮助命题者宣传了理念,二是使 成了※的代名词,也成了许多不等式爱好者的噩梦。十几年来,此题风靡国内外数学论坛,至今仍经常能见到。笔者在此收集整理了 种不同的方法,其中有不少方法值得认真体会

23.00_06_chernoff不等式.pdf

23.00_06_chernoff不等式.pdf

ArduPilot + Gazebo + Mavros + QGC + 遥控器:从仿真到实机的自主轨迹控制实践

本文详细介绍了基于ArduPilot、Gazebo、Mavros和QGC的无人机自主轨迹控制全流程实践。从仿真环境搭建、多终端协同配置,到遥控器集成与自主圆形轨迹算法实现,提供了完整的代码示例和实机迁移要点,帮助开发者快速掌握无人机自主控制技术。

corn8的博客 944

CodeBlocks如何将英文环境改为中文

一、下载汉化包(链接如下) 链接:https://pan.baidu.com/s/166U9WGPbJXu2hyD7q9EiJQ 提取码:2333 二、选择路径 将汉化包中的文件(CodeBlocks.mo、zh_CN.mo、zh_CN.po)放到CodeBlocks安装路径下的​​​​​​CodeBlocks/share/CodeBlocks/locale/zh_CN文件夹中,路径中的文件夹没有就新建。 注:此处需严格按照要求来,切勿自定义文件夹名 三、内部调试 打开CodeBlocks,..

云隐雾匿的博客 2万+

SDM量化噪声等效到PLL输出的传递函数推导

在历年文章或书本中少见SDM量化噪声等效到PLL输出的传递函数推导。需了解SDM量化噪声的本质,配合欧拉方程简化,并将Z域转化成S域。最终结合断环处等效到PLL输出的传递函数,方可完成。

u010486560的博客 1415

Agentic RAG:RAG从静态到具有理解、推理、决策的Agentic RAG

RAG技术演进:从静态检索到智能代理 RAG(检索增强生成)技术经历了五个关键发展阶段:基础RAG(关键词检索)、高级RAG(语义理解)、模块化RAG(灵活架构)、图RAG(知识图谱)和最新的Agentic RAG(智能代理)。Agentic RAG通过引入自主AI代理,具备反思、规划、工具使用和多代理协作能力,实现了动态决策和自适应工作流。相比传统RAG的静态检索流程,Agentic RAG能处理复杂多步推理任务,通过自我改进机制提高输出质量,并支持多专业代理协作,显著提升了RAG系统在复杂场景下的表现。

2563

从零搭建:基于Matlab/Simulink与FlightGear的飞行器实时可视化仿真平台

本文详细介绍了如何从零搭建基于Matlab/Simulink与FlightGear的飞行器实时可视化仿真平台。通过环境准备、模型部署、接口配置及联合仿真等步骤,帮助用户快速掌握飞行器仿真的核心技术,实现高效的三维可视化与实时数据交互。

weixin_29100399的博客 518

基于STM32的多模态智能风扇控制系统设计与实现

本文详细介绍了基于STM32单片机的多模态智能风扇控制系统的设计与实现。系统集成了红外遥控、蓝牙手机控制及人体感应等多模态交互方式,通过PWM技术实现无级调速,并设计了安全优先的控制逻辑。文章从硬件选型、核心原理、软件编程到系统调试,提供了完整的实战指南,适合嵌入式开发爱好者学习与实践。

weixin_28285943的博客 241

STM32_DAC

DAC(Digital-to-Analog Converter,数模转换器)是将数字信号转换为模拟信号的外设,广泛应用于音频输出、波形生成、电机控制等场景。STM32F407 系列芯片配备了 2 个 DAC 通道(DAC1 和 DAC2),支持 12 位分辨率,支持多种触发方式,可输出稳定的模拟电压。本文从 DAC 的基本原理出发,详细讲解 STM32F407 DAC 的配置方法、代码实现、波形生成以及实际应用案例,帮助你快速掌握 DAC 的使用技巧。

轩宇的博客 1243

【精细解读】xapp585(多通道LVDS接口ADC)

xapp585的参考设计有Verilog和VHDL两种源码。

FPGA艺术家的博客 539

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

上一篇: UA MATH523A 实分析2 测度论基础4 乘积Sigma代数
下一篇: UA SIE545 优化理论基础9 优先与分治策略1 文件的最优存储顺序
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址