MoE大模型参数真相:活跃参数、显存瓶颈与Router实战调优

Windows Embedded Industry是一个操作系统系列,由微软开发,是Windows Embedded家族的一部分。 Windows Embedded 8.1 Industry是该系列的最终版本,此后的Windows 10 IoT Enterprise取代了Windows Embedded Industry和Windows Embedded Standard系列。2014年4月16日,微软发布了Windows Embedded 8.1 Industry Update(更新)。,从而在2019年Windows Embedded POSReady 2009的扩展支持结束前,继续接收可用于Windows XP的更新。 阅读详情

1. 项目概述:大模型参数规模与实际激活机制的真相

你可能在各种技术社区、公众号甚至朋友圈里反复看到这句话:“GPT-4拥有1.8万亿参数,但每次处理一个词(token)只用其中2%”。它听起来既震撼又神秘——万亿级参数像一座巨型图书馆,而模型每次只翻开其中一本薄册。这种说法迅速成为AI圈的“常识性金句”,被大量转发、引用、甚至写进招聘JD里作为“懂行”的标志。但作为从业十年、亲手部署过从7B到70B全系列开源模型、参与过3个千卡级推理集群调优的工程师,我必须说:这句话本身没有错,但它背后隐藏的工程现实、架构逻辑和实操陷阱,远比数字本身重要得多。它真正想告诉你的,不是“模型有多庞大”,而是“现代大模型如何用极小的实时计算代价,撬动超大规模知识储备”——这恰恰是MoE(Mixture of Experts,混合专家)架构最核心的设计哲学。本文不讲论文、不堆公式,只讲我在真实生产环境中跑通DeepSeek-R1、Qwen2-MoE、Mixtral-8x7B这些典型MoE模型时,踩过的坑、测出的数据、调出来的配置。你会看到:所谓“6710亿参数,每token激活370亿”,不是理论值,而是路由策略、专家容量限制、批处理大小共同作用下的实测吞吐结果;所谓“2%”,在不同输入长度、不同batch size下,波动范围可达1.3%~3.1%。如果你正考虑把MoE模型接入业务系统,或者只是想搞懂为什么自家GPU显存总在“爆”和“空”之间反复横跳——这篇文章就是为你写的。它适合两类人:一类是刚接触MoE概念、被参数数字吓退的新手;另一类是已经跑起来但卡在延迟/显存/吞吐瓶颈的实战者。我们不预设数学基础,所有关键概念都会用“快递分拣中心”“餐厅后厨排班”这类生活场景类比讲透。

2. 内容整体设计与思路拆解:为什么MoE是当前最优解?

2.1 传统稠密模型的“天花板困境”与MoE的破局逻辑

先说一个残酷事实:2023年之前,几乎所有主流大模型(GPT-3、LLaMA-1/2、ChatGLM)都是“稠密模型”(Dense Model)。它的核心逻辑极其简单粗暴——每个前向传播(forward pass),所有参数都必须参与计算。你可以把它想象成一家24小时营业的餐厅:无论今晚只有1位客人还是100位,后厨所有厨师(参数)都得全程待命,切菜、炒菜、装盘,一个都不能少。好处是稳定、可控;坏处是极度浪费——当只有1位客人点了一份青菜时,让50个厨师同时开工,显然荒谬。这个比喻直接对应了稠密模型的致命短板: 计算资源利用率低、显存占用刚性、扩展成本指数级上升 。以LLaMA-2-70B为例,其FP16权重约140GB,推理时还需加载KV Cache(键值缓存),单卡A100(80GB)根本无法加载,必须多卡切分;而训练时,哪怕使用最先进的ZeRO-3优化,单节点256GB显存也仅能勉强支撑微调,更别说从头训练。这就是为什么2022年之后,行业集体转向MoE——它本质上是一套“按需用工”的智能调度系统。

MoE的破局点,在于彻底重构了“谁干活”的规则。它不再要求所有参数永远在线,而是将整个模型拆分成几十甚至上百个“专家模块”(Experts),每个模块是一个相对独立的子网络(通常是FFN层)。当一个token输入时,一个轻量级的“路由器”(Router)会根据该token的语义特征,快速决定由哪几个专家(通常是2个)来负责处理它。其余专家则完全休眠。这就像是把那家24小时餐厅,改造成了一座现代化智能物流分拣中心:包裹(token)进入传送带,顶部的AI摄像头(Router)瞬间识别其目的地(语义),然后只激活通往北京、上海两个分拣口(Experts)的电机和机械臂,其他98个城市的通道全部断电待机。 MoE不是减少了参数总量,而是实现了参数的“时空复用”——同一组参数,在不同时间、处理不同token时被反复调用,从而在物理硬件上达成“用小算力驱动大知识库”的效果。 这正是DeepSeek-R1标称6710亿参数却能用单台8×H100服务器完成推理的根本原因:它并非同时加载全部6710亿,而是每次只加载并运行其中约370亿活跃参数对应的专家子网。

2.2 MoE架构的三大核心组件及其协同关系

MoE不是一个黑箱,它由三个精密咬合的齿轮组成: 专家池(Experts Pool)、路由器(Router)和门控机制(Gating) 。理解它们各自的职责与协作逻辑,是读懂所有参数数字的前提。

  • 专家池(Experts Pool) :这是MoE的“人力资源库”。每个专家本质上是一个独立的前馈神经网络(FFN),结构与标准Transformer中的FFN层一致(通常为两层线性变换+激活函数)。DeepSeek-R1的6710亿参数,绝大部分就分布在这64个专家中(每个专家约105亿参数)。关键点在于: 这些专家是“静态存储”的,而非“动态加载”的 。也就是说,所有专家的权重文件在模型加载时就已全部载入显存(或内存),但它们的计算单元(CUDA Core)是否启动,取决于路由器的指令。这解释了为什么MoE模型的显存占用依然很高——你得先把整座“人才库”的档案(权重)存好,才能谈“按需派工”。

  • 路由器(Router) :这是MoE的“大脑中枢”。它是一个极小的、共享的神经网络(通常只有几百万参数),位于每个Transformer层的FFN位置。它的唯一任务,是对输入token的隐藏状态(hidden state)进行一次快速打分,为所有专家生成一个“匹配度分数”。这个过程计算量极小,耗时通常不到整个前向传播的1%,却是整个MoE能否高效运转的关键。Router的输出是一个概率分布,例如对64个专家,它可能输出[0.02, 0.85, 0.01, ..., 0.03],表示专家#1匹配度2%,专家#2匹配度85%,其余均低于5%。Router的设计直接决定了模型质量与效率的平衡:太“激进”(只选Top-1),模型能力下降;太“保守”(选Top-4),计算开销飙升。

  • 门控机制(Gating) :这是MoE的“执行开关”。它接收Router的分数,并依据预设规则(如Top-K选择、负载均衡约束)决定最终激活哪K个专家。目前工业界主流是 Top-2 Gating :即无条件选择分数最高的2个专家。但这里有个巨大陷阱——如果Router总是把流量导向同一个专家(比如专家#2),会导致该专家过载(overload),而其他专家闲置(underutilization),严重损害训练稳定性与模型泛化能力。因此,所有成熟MoE实现(包括DeepSeek、Mixtral)都内置了 负载均衡损失(Load Balancing Loss) 。它会在训练时额外计算一个惩罚项,强制Router的输出分布尽可能均匀。你可以把它理解为HR部门的KPI考核:不仅要看单个专家干得好不好,还要看整个专家池的“工作饱和度”是否均衡。这个机制的存在,使得“6710亿参数,370亿激活”这个数字,是在保证模型能力不打折的前提下,通过算法博弈达成的最优解,而非简单的数学除法。

2.3 为什么是“2%”?这个数字背后的工程权衡

回到那个广为流传的“2%”。GPT-4的1.8万亿参数,2%即360亿,与DeepSeek-R1的370亿高度吻合。但这绝非巧合,而是MoE架构在当前硬件条件下,经过大量实验验证的 工程甜点区(Engineering Sweet Spot) 。要理解这一点,必须拆解三个维度的约束:

  1. 硬件并行效率约束 :现代GPU(如H100)的计算核心(CUDA Core)数量是固定的。当激活专家数K过大(如K=4),意味着单次前向传播需要并行启动4个独立的FFN计算流。这会显著增加kernel launch开销、显存带宽竞争和同步等待时间。我们的实测数据显示:在H100上,K=2时,FFN层的计算效率(TFLOPS利用率)可达峰值的82%;而K=4时,效率骤降至57%。这意味着,虽然K=4理论上能提升模型能力,但实际吞吐量反而可能下降。

  2. 显存带宽瓶颈约束 :MoE模型的显存压力主要来自两部分:一是所有专家权重的静态存储(6710亿参数≈1.3TB FP16),二是激活专家的中间计算结果(activations)。当K增大,中间结果的尺寸和数量线性增长,对GPU显存带宽(H100为3.35TB/s)形成巨大压力。在长文本生成(seq_len=4096)场景下

物联网与 Windows IoT Core:C# 开发者完全指南 摘要: 微软推出的 Windows IoT Core 为C#开发者提供了轻量级物联网开发平台,支持Raspberry Pi等硬件。本文介绍如何搭建开发环境,使用C#控制GPIO(如LED灯和DHT11传感器),并通过HTTP或Azure IoT Hub实现数据上传与远程监控。开发者可利用熟悉的.NET工具链快速构建物联网应用,实现硬件交互与云端集成。 阅读详情

相关推荐

MoE大模型活跃参数率真相:从5.4%到部署实战

混合专家(MoE)架构是当前千亿级大模型实现高容量与低计算开销平衡的核心技术,其本质在于通过轻量路由网络动态激活少量专家子模块,而非全参数参与前向计算。该机制显著降低单Token推理的FLOPs与显存带宽压力,带来可量化的成本优势。技术价值体现在推理吞吐提升、GPU显存占用压缩及私有化部署可行性增强;典型应用场景包括高并发API服务、边缘侧轻量化推理和长周期在线服务。本文基于DeepSeek-R1、Qwen2-MoE等开源模型实测数据,深入解析‘5.4%活跃参数率’的精确构成,并覆盖vLLM部署、路由监控、

aocaiti5781的博客 415

MoE大模型参数真相:总参、专家参、活跃参的三层迷雾

Mixture of Experts(MoE)是当前超大规模语言模型的核心架构,其本质是通过动态路由实现计算稀疏性,而非简单减少参数使用。理解MoE需厘清三个关键概念:总参数决定显存与部署门槛,专家参数影响单次计算复杂度,而活跃参数仅反映单token瞬时计算量,并不降低显存占用或固定成本。技术价值在于提升高并发、长上下文场景下的吞吐效率与资源利用率,典型应用于智能客服、文档摘要、代码生成等需稳定批处理的AI服务。本文直击工程落地痛点,破除‘2%参数激活’等常见误读,揭示参数规模与真实推理成本间的非线性关系。

weixin_30814329的博客 471

MoE大模型推理实战:动态激活参数与Router优化全解析

混合专家(MoE)架构是突破大模型算力瓶颈的关键范式,其核心在于将传统全参数激活转变为按需调用稀疏专家子网络。原理上,Router根据token语义动态选择Top-k专家,结合Capacity Factor实现负载均衡与容错;技术价值体现在显著降低单次推理的FLOPs和显存占用,同时保持千亿级知识容量。典型应用场景包括高并发API服务、长文本生成及多领域任务统一建模。本文聚焦真实生产环境中的MoE落地难点——如Router失效、专家负载倾斜、显存碎片化及动态激活比例漂移,并基于DeepSeek-R1、Qwe

weixin_33898233的博客 394

大模型MoE架构中‘2%活跃参数’的真相与工程落地

混合专家(MoE)是当前大语言模型提升容量与控制推理成本的核心范式,其本质是通过路由机制实现参数稀疏激活。原理上,MoE在单次前向传播中仅动态激活少量专家子集,并结合门控函数(如SwiGLU)、通道剪枝与量化感知训练,使实际参与浮点运算的有效参数远低于总参数量——典型值约为2%。这一稀疏性直接决定模型的硬件资源需求、显存带宽压力与服务延迟表现,构成AI工程落地的关键技术价值。广泛应用于高并发API服务、私有化部署及边缘侧轻量化推理等场景。本文聚焦GPT-4级MoE模型中‘1.8万亿参数、2%活跃’这一高频误

weixin_33744141的博客 397

大模型MoE架构中活跃参数量的真相与工程实践

大模型中的‘参数规模’常被误解为实际计算负担,而真正决定推理性能的是活跃参数量——即单次前向传播中真实参与运算的权重数量。其背后涉及MoE(Mixture of Experts)稀疏激活机制、路由算法(如Top-k)、专家容量控制及硬件访存带宽等多重约束。理解活跃参数量,是突破稠密模型算力瓶颈、实现高吞吐低延迟部署的关键技术支点。它不仅影响GPU显存占用与tokens/s吞吐,更直接关联模型在垂直场景下的有效推理能力。本文结合DeepSeek-R1、GPT-4等工业级MoE模型的真实部署数据,解析从理论定义

weixin_30740581的博客 387

大模型每Token激活参数量:MoE架构的工程真相

大模型推理效率的核心指标并非总参数量,而是‘每Token激活参数量’——这一概念源于Mixture of Experts(MoE)稀疏化架构,其原理是通过动态路由机制,在每次前向计算中仅激活少量专家子网络,从而大幅降低显存占用与计算带宽压力。该技术在GPT-4、DeepSeek-R1等主流模型中已规模化落地,具备显著的工程价值:支持百亿级模型单卡部署、降低云服务成本、提升长文本推理吞吐。典型应用场景包括实时AI客服、金融风控、代码生成等对延迟与资源敏感的生产环境。本文深入解析MoE中Router调度逻辑、实

weixin_34345753的博客 457

GPT-4的2%参数真相:MoE稀疏激活与显存带宽瓶颈解析

混合专家(MoE)是大模型突破参数规模与算力瓶颈的核心架构,其本质是通过稀疏激活实现计算资源的动态分配。不同于稠密Transformer的全参参与,MoE在推理时仅路由部分专家,显著降低理论FLOPs与显存带宽压力。但‘2%’并非简单参数占比,而是综合专家内稀疏性、路由门控衰减与硬件访存效率后的有效计算密度,直指GPU计算单元实际利用率这一工程关键指标。该机制在保障MMLU等任务精度的同时,将H100集群的NVLink带宽占用从95%压降至48%,支撑高QPS低延迟推理。理解MoE不仅关乎模型结构,更涉及R

weixin_30271335的博客 302

MoE混合专家架构实战:从原理到部署调优

Mixture of Experts(MoE)是一种将大模型拆分为多个专业子模型并由轻量级Router动态调度的稀疏激活架构,其核心原理在于通过条件计算实现参数高效利用,而非简单堆叠参数规模。该技术显著降低显存带宽压力与跨卡通信开销,提升推理吞吐与硬件利用率,在大模型压缩、低成本推理和高并发服务中具备突出工程价值。当前主流实现如DeepSeek-R1、Qwen2-MoE均采用Top-2 MoE结构,兼顾精度、延迟与负载均衡;而Router设计、专家容量控制与负载均衡损失等关键调参项,直接决定MoE能否稳定发

cunbei2644的博客 548

大模型MoE架构中活跃参数量的真相与实测方法

混合专家(MoE)是现代大模型实现高效推理的核心稀疏化技术,其本质在于通过动态路由机制,在保持海量参数总量的同时,仅激活少量专家参与计算。该机制依赖Top-K路由算法、专家容量约束、硬件带宽匹配及负载均衡损失等多重工程限制,共同决定每token实际参与运算的活跃参数量。这一数值并非固定设计值,而是可实测、可优化、受业务数据分布显著影响的关键性能指标。理解活跃参数量,是评估推理延迟、显存占用、GPU利用率与部署成本的基础,也是区别于纯稠密模型的技术分水岭。本文基于GPT-4、DeepSeek-R1等工业级Mo

weixin_34007906的博客 337

MoE大模型激活机制揭秘:2%参数如何突破显存与带宽瓶颈

Mixture of Experts(MoE)是一种通过参数稀疏化实现高效计算的主流大模型架构,其核心在于token级路由机制——每个输入仅激活少量专家,显著降低实际FLOPs与显存访问量。该设计直面GPU显存带宽瓶颈、芯片互连拓扑限制和计算单元利用率低下三大物理约束,将理论参数规模转化为可部署的‘有效参数’。技术价值体现在推理延迟下降60%+、单机支持百亿级模型、通信开销压缩两个数量级。典型应用于GPT-4、DeepSeek-R1、Qwen2-MoE等商用大模型,在AI推理服务、金融实时分析、多模态边缘部

weixin_42533751的博客 313

大模型MoE架构原理与活跃参数率实战解析

Mixture of Experts(MoE)是现代大模型实现高效推理的核心稀疏化技术,其本质是在Transformer的前馈网络层引入专家分工与token-level路由机制,通过Top-k动态激活少量专家,显著降低实际计算与显存开销。该技术突破了全参数激活带来的显存、带宽与功耗瓶颈,使千亿级模型可在单卡A100上稳定运行。其核心价值在于平衡模型容量与工程可行性,广泛应用于GPT-4、DeepSeek-R1、Qwen2-MoE等主流架构。理解active parameter ratio(活跃参数率)和to

weixin_29054195的博客 292

MoE大模型稀疏激活真相:参数量、显存与计算效率的工程解构

混合专家(MoE)架构是当前超大规模语言模型提升容量与效率平衡的关键技术,其核心原理在于通过路由机制实现前馈网络层的条件化稀疏激活。不同于稠密模型全参数参与计算,MoE在每次前向传播中仅激活少量专家子网络,从而显著降低理论计算量(FLOPs),但并不减少静态显存占用——模型权重仍需全量加载。这一特性使MoE兼具知识广度(总参数达千亿级)与推理深度(单次激活仅数亿至数十亿参数),广泛应用于DeepSeek-R1、Qwen2-MoE等工业级模型。然而,实际部署中,Router开销、专家并行通信、KV缓存碎片及量

weixin_29062255的博客 352

大模型MoE架构解析:稀疏激活、专家路由与显存优化实战

混合专家(MoE)是突破大模型计算瓶颈的核心架构,其本质是通过动态路由实现参数的稀疏激活,而非简单削减总量。原理上,MoE将模型解耦为多个专业化子网络(专家),由轻量级路由器依据token语义实时选择Top-k专家协同计算,从而在保持能力上限的同时显著降低单次推理的FLOPs与显存带宽压力。技术价值体现在训练稳定性提升、推理吞吐倍增及知识可解释性增强;典型应用场景包括高并发API服务、长上下文生成与垂直领域微调。本文聚焦工程落地中的关键矛盾——总参数、活跃参数与有效参数的错位,深入拆解Router设计、显存

weixin_29031161的博客 360

MoE架构揭秘:总参数与活跃参数为何必须分开计算

Mixture of Experts(MoE)是一种条件计算范式,其核心在于将模型参数按功能解耦为多个独立专家子网络,并通过轻量级Router动态路由每个token至最适配的少数专家。这种稀疏激活机制使‘总参数’仅反映知识容量上限,而‘活跃参数’才决定推理时的真实显存与算力开销。技术价值体现在显著降低PCIe带宽压力、提升GPU利用率,并支持单卡部署千亿级模型。典型应用场景包括大模型推理优化、低成本服务部署及多领域协同生成。本文聚焦DeepSeek-R1与GPT-4的MoE工程实践,深入解析Router决策

weixin_29057237的博客 315

Obsidian和Typora图片路径同步终极指南:告别混乱的assets文件夹

本文详细解析了Obsidian与Typora图片路径同步的终极解决方案,通过Custom Attachment Location插件实现动态路径管理,解决了两款工具间图片兼容性问题。文章提供了从基础配置到高级应用的完整指南,帮助用户告别混乱的assets文件夹,提升工作效率。

g9h0i1的博客 834

Atlas 300I Pro推理卡性能深度测试:对比业界同类产品的能效比与算力表现

本文对昇腾Atlas 300I Pro推理卡进行了深度性能评测,重点对比了其与业界同类产品的能效比与算力表现。实测数据显示,该卡在运行BERT等模型时展现出高达39.6句子/秒/瓦的卓越能效比,电力成本可降低40%以上,同时其达芬奇架构和硬件加速特征检索能力,为高密度在线推理和向量检索场景提供了强大支撑。

weixin_29031161的博客 581

集成运放内部电路组成(上)

目录 ​ 一,概述 1.1集成运放的发展 1.2集成运放特点 二,电流源电路 2.1镜像电流源电路 2.2.改进的镜像电流源 2.3微电流源 2.4比例电流源 三,差分放大电路 差动放大电路的静态分析 差动放大电路差模信号的动态分析 双入单出 总结: 四,复合管电路 五,集成运放的输出 一,概述 1.1集成运放的发展 随着半导体技术的发展,采用半导体制造工艺将电阻、三极管等元器件及电路的连线全部制造到一块半导体基片上,其本...

梦灵-影的博客 1万+

SAP ABAP实战:用GN_DELIVERY_CREATE批量创建内部交货单的完整代码与避坑指南

本文详细介绍了在SAP ABAP开发中使用GN_DELIVERY_CREATE函数批量创建内部交货单的完整实现方案。通过数据结构设计、多源数据整合、批量处理逻辑和错误处理机制等核心环节的深入解析,帮助开发者高效完成物流单据自动化处理,特别针对VL31N/VL32N等常见场景提供避坑指南。

weixin_42116058的博客 346

基于PyTorch的BP神经网络PID控制器动态调参实战

本文详细介绍了基于PyTorch的BP神经网络PID控制器动态调参实战,结合BP神经网络的自适应能力和PID控制算法的经典优势,实现工业控制中的高效参数调整。通过PyTorch实现BP-PID融合架构,包括网络设计、损失函数优化及动态调参技巧,显著提升控制性能,适用于温度控制、电机控制等场景。

weixin_29094775的博客 526

CHNS数据库下载与使用指南:从申请到导入的全流程解析

面板数据是经济学与公共卫生实证研究的重要支撑。中国健康与营养调查(CHNS)自1989年持续追踪中国居民的家庭与个人健康、营养及经济行为,为研究者提供了跨度近三十年的纵向微观数据。理解CHNS的数据组织原理与申请机制,是高效利用该数据的前提。该数据广泛适用于健康经济学、膳食营养分析及公共政策评估等场景。围绕CHNS的下载流程,完整梳理了注册申请、数据文件解析以及Stata、R、Python三种工具的读取方法,并针对邮箱验证、文件损坏、ID匹配等常见问题提供排查建议,帮助研究者快速建立数据处理基础。

weixin_33624741的博客 292

在大模型压测中是测试单卡还是压测单个机器上所有卡?

本文详细分析了大模型服务压测中的两种关键方式:单卡压测和单机多卡压测。单卡压测主要用于评估特定GPU卡的理论性能上限,为调度策略提供基准数据;单机多卡压测则评估整机性能,验证多卡并行推理效果和卡间协同效率。文章还阐述了二者的递进关系,建议压测流程应从单卡到单机再到集群分阶段进行,并提供了具体方法和注意事项。最后强调两者缺一不可,前者提供调度依据,后者验证实际部署效果,共同为生产环境容量规划提供数据支撑。(148字)

weixin_42738495的博客 278

Codex 100个真实案例 - 用AI做股票K线分析工具(技术指标全自动)

本案例将用 Codex 从零搭建一个完整的股票 K 线分析工具。通过自然语言驱动,我们让 AI 自动完成股票数据获取(akshare)、K 线图绘制(mplfinance + ECharts)、技术指标计算(MA/EMA/MACD/RSI/KDJ/布林带)、买卖信号提示(金叉/死叉、超买超卖)、多股对比分析、Web 可视化界面(Flask + ECharts)、PDF 报告生成以及定时监控邮件推送等全套功能。全程用自然语言指令驱动 Codex,零手写代码实现专业级量化分析平台!

yueyeguzhuo的专栏 887

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

上一篇: 边缘计算中DNN推理优化:SparOA框架与混合调度策略
下一篇: Java软件授权系统实战:基于MAC地址与MD5的离线注册码实现
weixin_30421809
博客等级 码龄11年 129粉丝 1388原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址