主成分分析(PCA)和局部线性嵌入(LEE)原理详解

VIP主成分分析(PCA)和局部线性嵌入(LEE)原理详解
从KNN谈“维度灾难”,介绍线性降维PCA和局部线性嵌入LLE 这两种降维方法的原理
开通可读全文 ·5.6k 人阅读
最低0.47元/天 解锁文章

k近邻

k邻近学习是一种常用的监督学习。其工作机制:给定测试样本,基于某种度量找出与测试样本最靠近的K个训练样本,在分类任务中是基于K个“邻居”样本的类别投票法来确定测试样本的类别,在回归任务中是基于K个“邻居”样本输出标记的平均值作为预测结果。

k邻近学习缺陷与优点

  • k邻近称为“懒惰学习”:训练阶段仅仅保存训练样本,训练时间开销为0,待收到测试样本后才进行学习
  • 不同距离计算导致不同的结果”
  • 假设样本独立同分布 ,对任意x和任意小整数a,在x的附近a距离总能找到一个训练样本z。则c∗=argmaxxϵYP(c|x)表示贝叶斯最优分类器。经过推导可以得到K近邻泛化错误不超过贝叶斯最优分类器的2倍。想要维持K邻近低范化错误,则训练样本密度必须足够大。对于高维而言,若每一个属性维度的训练样本的密度都很大,这会导致训练样本数量急剧增加,就出现了’维数灾难‘。
    这里写图片描述

主成分分析PCA

PCA是一种对原始高维空间进行线性变换从而获得低维空间,并期望在所投影的维度上数据的方差最大,以此使用较少的数据维度,同时保留住较多的原数据点的特性。
需要注意PCA属于特征抽取不属于特征选择。给定d维空间中的样本X=(x1,x2,...xm)∈Rd×m变换之后得到d’<=d维

Z=WTX

W=(w1,w2,...wm)∈Rd×d′ 是变换矩阵,Z是新空间中的向量

帮助理解这里有小插曲
这里写图片描述

  • A⋅B=|A||B|cos(a) A与B的内积等于A到B的投影长度乘以B的模。
  • 设向量B的模为1,A⋅B=|A|cos(a),则A与B的内积值等于A向B所在直线投影的矢量长度
    这里写图片描述

  • 要准确描述向量,首先要确定一组基,然后给出在基所在的各个直线上的投影值

  • 在直角坐标系中的向量(x,y)实际上表示线性组合:x(1,0)T+y(0,1)T
  • 两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行行向量为基所表示的空间中去

根据以上的预备知识可以理解原属性xi是在新坐标(一组基)(w1,w2,...wm)的作用下得到zi(xi代表右边矩阵的每一列向量)。若wi与wj(i,j不相等)则新坐标系是一个正交坐标系,W为正交变换,则低维新空间中的属性是高维原始空间属性的线性组合。

现在进入正题,对于正交属性的空间中的样本点,如何用一个超平面(直线的高维推广)对所有样本进行恰当的表达?

  • 最近重构性:样本点到这个平面的距离都足够近
  • 最大可分性:样本点在这个超平面的投影都尽可能分开

最近重构性和最大可分性可以得到两种主成分的等价推导,以下推导是从最近重构性角度来出发。

  • 假定样本进行了中心化即∑xi=0
VIP 【流行学习】局部线性嵌入(Locally Linear Embedding) 一、前言 局部线性嵌入(LLE)假设数据在较小的局部是线性的,也就是说,某一个样本可以由它最近邻的几个样本线性表示,离样本远的样本对局部的线性关系没有影响,因此相比等距映射算法,降维的时间复杂度和空间复杂度都有极大的降低。 比如有一个样本x1x_1x1​ ,我们在它的原始高维邻域里用KKK-近邻思想找到和它最近的三个样本x2,x3,x4x_2,x_3,x_4x2​,x3​,x4​,然后我们假设x1x_1x1​可以由x2,x3,x4x_2,x_3,x_4x2​,x3​,x4​线性表示,即: x1=w12x2+ 开通可读全文·5.2k 阅读·12 点赞·41 收藏 阅读全文

相关推荐

41、主成分分析的多种变体及应用

本文系统介绍了主成分分析(PCA)的多种变体及其在不同场景下的应用。内容涵盖局部PCA、增量PCA和监督PCA等改进方法,探讨了复值PCA在复数域信号处理中的扩展,以及二维PCA在图像特征提取中的优势。同时,文章还深入讲解了广义特征值分解与奇异值分解(SVD)的理论基础及相关算法,包括Tucker分解和互相关不对称PCA网络,展示了这些技术在数据降维、模式识别和信号处理等领域的重要作用。根据具体需求选择合适的方法,可显著提升数据分析效果。

berry的博客 60

13、非线性降维与数据游览方法详解

本文详细介绍了非线性降维与数据游览方法,涵盖多维尺度分析(MDS)、流形学习(如LLE、ISOMAP、HLLE)、人工神经网络方法(如SOM、GTM)以及深度学习和t-SNE等技术。同时系统阐述了数据游览的三大类方法:大游览、插值游览和引导游览,重点解析了环面缠绕方法和伪大游览的实现原理与代码示例。结合MATLAB实践案例,展示了各类方法在高维数据可视化与结构发现中的应用,并提供了优化策略与综合应用流程,帮助读者全面掌握高维数据探索的核心技术。

nokia的博客 58

【信息科学与工程学】【产品体系】——第五篇 路由器02

交换网板是路由器的核心交换引擎,负责在多个线卡之间高速转发数据,其设计决定了路由器的容量、性能、可靠性和扩展性。下面从结构设计、拓扑设计和交换算法三个维度进行深入解析。特点:所有线卡通过背板连接到中央交换单元 子类型:类型工作原理优点缺点典型实现共享总线​时分复用总线简单,成本低容量固定,扩展性差早期Cisco 7500共享内存​中央存储器共享效率高,无阻塞内存带宽瓶颈Juniper M/T系列早期型号中央交换矩阵​中央Crossbar高性能,无阻塞单点故障华为NE系列早期型号关键技术参数:总线/内存带

weixin_49199313的博客 1430

【信息科学与工程学】【产品体系】——第五篇 路由器02(2) 交换网板

类别PHY芯片(半导体集成电路)高速连接器(机电组件)协同设计关键点核心功能​物理层信号处理:编码/解码、均衡、时钟恢复、驱动/接收机械与电气接口:信号传输、电源分配、机械固定、热传导接口匹配:阻抗连续性、损耗分配、串扰控制设计范式​纳米尺度IC设计:晶体管级优化、混合信号设计、IP集成毫米/微米尺度机电设计:电磁场优化、机械结构、材料选择通道协同设计:联合仿真、系统级优化制造工艺​半导体前道+后道工艺:光刻、蚀刻、沉积、封装测试精密机械加工+电镀+注塑:冲压/蚀刻、电镀、注塑成型、组装公差链管理:累积公差

weixin_49199313的博客 1253

LLE局部线性嵌入算法

LLE局部线性嵌入算法 作者:禅与计算机程序设计艺术 1. 背景介绍 高维数据在很多领域都扮演着重要的角色,比如图像处理、语音识别、生物信息学等。但是高维数据往往包含着大量的冗余信息,给数据分析和处理带来了很大的挑战。为了解决这个问题,数据降维技术应运而生。其中,局部线性嵌入(LLE)

AI天才研究院 1500

01-SA8155 QNX 虚拟机Hypervisor

Hypervisor运行在Host OS操作系统上,其他操作系统均在Hypervisor上运行。:Hypervisor直接运行在硬件上,操作系统在Hypervisor之上运行。终止(关闭):echo control 0 dev/vmm。路径:qnx_ap/AMSS/platform/vm/resources/关闭/终止 qvm(GVM):slay -s SIGQUIT qvm。", //host PVM --- 主机。不直接操作/dev/vmm 实现关闭,启动vm。

静虚待令,有物混成 1万+

保姆级教程:用PCAN-View监控汽车CAN总线,从硬件连接到报文分析(附快捷键大全)

本文提供了一份详细的PCAN-View使用教程,涵盖从硬件连接到报文分析的全流程,特别适合汽车电子工程师和初学者。内容包括硬件准备、软件安装、核心功能操作、高级技巧及故障排查,并附有实用的快捷键大全,帮助用户高效监控和分析CAN总线数据。

weixin_42542669的博客 500

AWS入门实践-如何在AWS云上创建一个内外网隔离的生产环境

在 AWS 上建立一个内外网分离的生产环境,可以减少应用服务的暴露面,有效的保证你的应用服务器的安全。通常我们会将web应用放在外网的子网内,数据库服务器等放在内网的子网。我们将按照下图来部署动手实践环境,实现在public subnet的EC2虚拟机可以直接通过互联网可以访问,在Private subnet的EC2虚拟机不能通过互联网直接访问,但是却可以在内部来访问互联网安装应用等等。

weixin_39108752的博客 2998

拼团系统设计-人群标签的设计与思考

最近在学习一个拼团项目中涉及到的人群模块的设计,写下一些实现与思考。

wywcool的博客 975

39、FIPA ACL:多代理系统中的标准化通信

本文详细介绍了FIPA ACL(Agent Communication Language)的基本概念、言语行为理论基础以及其在多代理系统(MAS)中的应用。文章涵盖了FIPA ACL的消息格式、信息交流流程、实现与优化方法,并通过智能调度系统的实例展示了其实际应用效果。此外,还探讨了FIPA ACL面临的挑战及未来发展方向,如通信延迟优化、本体简化、安全性增强等。

k8s6orchestrator的博客 383

智能车浅谈 电磁组——环岛处理

第十七届全国大学生智能车电磁四轮部分经验分享

qq_41954556的博客 1万+

Android 系统低内存lowmemorykiller关于阈值修改 minfreeAbsKbytes优化

在系统rom定制化开发中,在对于运行内存ram 1G和2G的设备中,对于内存使用高峰期时,minfreeAbsKbytes优化很关键 调整合理的minfree,让内存合理的使用很关键,接下来分析相关功能的实现

安卓兼职framework和app工程师的博客 526

SKUA-GOCAD入门教程-第二节

软件启动及项目设置

江洋大葱的博客 1155

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

下一篇: 支持向量机理论详解
superzzx0920
博客等级 码龄10年 8粉丝 10原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址