MobileBERT模型简单介绍

Python中LLM的模型轻量化架构:MobileBERT与TinyBERT BERT(Bidirectional Encoder Representations from Transformers)是一种基于Transformer架构的预训练语言模型。它通过双向上下文理解来捕捉文本中的语义信息,从而在各种NLP任务中取得了显著的效果。BERT模型通常由多个Transformer编码器层组成,每一层包含多头自注意力机制和前馈神经网络。然而,BERT模型的参数量庞大,通常包含数亿甚至数十亿个参数。这使得BERT模型在训练和推理过程中需要大量的计算资源和存储空间。 阅读详情

目录

一、概要

二、深入扩展

2.1 知识蒸馏方法

2.2 渐进式知识迁移


一、概要

MobileBERT 可以看作一个“瘦身”后的BERT-large模型,其使用了瓶颈结构(Bottleneck Structure),并且在自注意力和前馈神经网络的设计上也有一定的改进。MobileBERT能够达到教师模型 BERT-base 99.2% 的性能效果(以GLUE数据集 为测试基准),推理速度快 5.5 倍,参数量降低至23.2%。
MobileBERT 在 BERT 的基础上进行了若干结构改进,例如去掉层归一化、使用ReLU 激活函数等,这里不再展开介绍,感兴趣的读者可以阅读文献进一步了解模型结构细节。下面重点介绍MobileBERT采用的知识蒸馏方法。

二、深入扩展

2.1 知识蒸馏方法

MobileBERT 的损失函数由四部分组成:有监督MLM损失、有监督NSP损失、隐含层蒸馏损失和注意力蒸馏损失。

式中,0≤α≤1表示调节损失函数权重的超参数,在MobileBERT中取α=0.5。
其中,有监督MLM损失和有监督NSP损失与原版BERT的实现是一样的。隐含层蒸馏损失则与TinyBERT一致,计算教师模型和学生模型各层隐含层输出之间的均方误差损失。需要注意的是,由于MobileBERT(学生模型)与教师模型的层数一致(均为12层),这里不需要设计映射函数,只需要将教师模型和学生模型的每一层进行一一对应即可。注意力蒸馏损失也与TinyBERT类似,但在MobileBERT中使用的是基于KL散度的方法,而不是TinyBERT中的均方误差损失。

式中,K 表示注意力头数;KL(·)表示KL散度函数。与 MSE 损失函数不同的是,KL 散度并不是对称的,这一点需要特别注意。MobileBERT 模型的整体结构如下图所示。

2.2 渐进式知识迁移

MobileBERT使用了一种 渐进式知识迁移 (Progressive Knowledge Transfer)策略。下图给出了一个示例,其中教师模型是3层 Transformer 结构,每种颜色的浅色版本表示参数冻结,即参数不参与训练。

可以看到在渐进式知识迁移中,词向量层和最终分类输出层的权重是直接从教师模型拷贝至学生模型的,始终不参与参数更新。而对于中间的Transformer层,采用了渐进的方式逐步训练。首先,学生模型开始学习教师模型的第一层。接下来,学生模型继续学习教师模型的第二层,而此时学生模型的第一层权重是不参与更新的。依此类推,当学生模型学习教师模型的第i层时,学生模型中所有小于 i 层的权重均不参与更新。论文作者通过实验证明这种渐进式知识迁移方法显著优于其他直接蒸馏方法,感兴趣的读者可以阅读文献了解更多细节。
DL-Paper精读:MobileBERT MobileNERT: a Compact Task-Agnostic BERT for Resource-Limited Devices https://arxiv.org/abs/2004.02984 Background BERT在NLP领域的地位是举足轻重的,其预训练模型,在多种下游任务的迁移工作中都能给出非常好的效果。但于此同时,BERT也受困于其庞大的模型参数和较慢的运行速度,尤其是在于一些资源受限的移动端部署任务中,BERT的实际应用是非常受限的。 Related work and t 阅读详情

相关推荐

知识蒸馏介绍及比较

文章目录1 知识蒸馏(knowledge)背景2 知识蒸馏原理2.1 概念2.2 如何蒸馏3 常见的几种BERT蒸馏模型3.1 BERT蒸馏3.2 Distiled BiLSTM3.2 BERT-PKD(2019)——精调阶段的蒸馏3.3 DistilBERT(hugging face2019)——预训练阶段蒸馏3.4 TinyBERT(HW,2019)——两阶段蒸馏1 通用蒸馏2 针对特定任务的蒸馏3.5 MobileBERT(ACL2020) 1 知识蒸馏(knowledge)背景 在训练模型时,我们通

weiyaner的博客 1万+

BERT知识蒸馏

预训练模型BERT以及相关的变体自从问世以后基本占据了各大语言评测任务榜单,不断刷新记录,但是,BERT庞大的参数量所带来的空间跟时间开销限制了其在下游任务的广泛应用。基于此,人们希望能通过Bert得到一个更小规模的模型,同时基本具备Bert的能力,从而为下游任务的大规模应用提供可能性。目前许多跟Bert相关的蒸馏方法被提出来,本章节就来分析下这若干蒸馏方法之间的细节以及差异。 知识蒸馏由两个模型组成,teacher模型跟student模型,一般teacher模型规模跟参数量都比较庞大,所以能力更强,

yaohaishen的专栏 1780

MobileBERT —资源受限设备上的任务无关BERT

随着NLP模型的规模增加到数千亿个参数,对这些模型进行高效的压缩也越来越重要。知识蒸馏成功地实现了这一目标,典型例子:student模型压缩了1/7却达到了模型96%的效果(https://medium.com/dair-ai/tinybert-size-does-matter-but-how-you-train-it-can-be-more-important-a5834831fa7d)。但是,在设计teacher模型时仍会考虑知识蒸馏,这可能会降低有效性,使student模型潜在的表现提高。 ...

lqfarmer的博客 798

MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices(2020-4-6)

近年来,自然语言处理(NLP)通过使用具有数亿个参数的巨大预训练模型取得了巨大的成功。然而,这些模型受到沉重的模型尺寸和高延迟的影响,因此无法部署到资源有限的移动设备上。因此这里提出了MobileBERT来压缩和加速流行的BERT模型。与原始的BERT一样,MobileBERT是任务不可知论的,也就是说,它可以通过简单的微调通用地应用于各种下游NLP任务。基本上,MobileBERT是BERTLARGE​的精简版,同时配备了瓶颈结构和精心设计的在自注意和前馈网络之间的平衡。

weixin_49346755的博客 724

从DistilBERT到MobileBERT:5个轻量级Transformer模型实测,帮你选对嵌入式AI方案

本文深入评测了DistilBERT、MobileBERT等5种轻量级Transformer模型在嵌入式设备上的实际表现,提供内存占用、推理延迟和能耗等关键指标对比。通过实测数据揭示各模型在树莓派、Jetson等硬件平台上的优化方案,帮助开发者根据任务复杂度、延迟预算和内存限制选择最佳嵌入式AI解决方案。

weixin_30733003的博客 514

Transformer课程 第30章Transformer模型DeBERTa架构

第30章:使用disentangled attention机制Transformer模型DeBERTa架构内幕及完整源码实现 1,使用两个vector来编码每个word的content和position 2,在pretraining阶段使用output enhanced mask decoder取代softmax layer对masked words预测的数学原理剖析 3,DebertaEmbeddings完整源码实现解析 4,DebertaPreTrainedModel完整源码实现解析 5,Disenta

大模型与Agent智能体 1027

MobileBERT:一个在资源有限设备上使用的BERT模型

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”作者:Viktor Karlsson编译:ronghuaiyang导读在蒸馏之后对学生模型再进行微调,进一步提升能力。随着NLP...

AI公园 3420

[论文笔记]MobileBERT

⭐ 作者提出了MobileBERT,是一种任务无关的BERT变体,仅需简单的微调就能广泛地应用于不同的下游任务。MobileBERT被设计成和BERT-large一样深,是一种深而窄的结构,通过采用瓶颈结构与在自注意力和前馈网络之间的平衡来窄化每层。提出了替换层归一化和改用relu激活来提升模型的速度,但会有一定程度上(一个点左右)的性能下降。

日积月累,天道酬勤 960

论文阅读_知识蒸馏_MobileBERT

使用了瓶颈结构,同时微调模型实现加速,最终实现了任务无关的蒸馏BERT模型。

谢彦的技术博客 1387

Transformer课程 第37章Transformer模型MobileBERT架构

第37章:可运行在终端设备的Transformer模型MobileBERT架构内幕及完整源码实现 1,Compact BERT on resource-limited设备上 2,teacher model数学原理解析 3,MobileBertTokenizer源码完整实现分析 4,load_tf_weights_in_mobilebert源码完整实现分析 5,NoNorm源码完整实现分析 6,MobileBertEmbeddings源码完整实现分析 7,MobileBertAttention源码完整实现分析

大模型与Agent智能体 711

谷歌提出任务无关的轻量级预训练模型MobileBERT:

本文来自于SIGAI公众号,由火龙果软件Anna编辑、推荐。近几年,NLP社区见证了一场预训练监督模型的革命。这些模型通常有数亿个参数,在这些模型中,BERT的精度提升最为显著。然而,作为NLP中最大的模型之一,BERT的模型容量大、时延高,使得资源有限的移动设备无法在基于移动的机器翻译、对话建模等方面发挥BERT的能力。目前业界已经做了一些努力,特别是针对特定任务对BERT模型进行蒸馏。据我们所知,目前还没有任何工作能构建出一个与任务无关的轻量级预训练模型,也就是说,它需要跟原始BERT一样能在不同的下游NLP任务上进行一般的微调。在本文中,我们提出了MobileBERT来填补这一空白。在实

PaddleNLP MobileBERT 模型:预训练权重、配置解析与移动端落地指南

MobileBERT 是面向资源受限设备(手机、嵌入式终端)设计的紧凑型 BERT 变体,通过瓶颈结构(Bottleneck)与浅层高效网络大幅压缩模型体积与推理延迟,同时保留强大的表征能力。本文以 PaddleNLP 仓库中的 [MobileBert 模型文档](https://link.gitcode.com/i/62f9238799c893f0c31d60771ae45ab8) 为主体,结合

gitblog_00570的博客 316

手把手教你用支付宝密钥工具生成RSA2密钥对(含Windows/Mac操作截图)

本文详细介绍了如何使用支付宝密钥工具生成RSA2密钥对,包括Windows和Mac平台的操作步骤与截图。从工具下载、安装到密钥生成、配置支付宝平台,再到开发环境集成实战,手把手教你完成支付宝支付接口对接。特别强调密钥安全管理和最佳实践,帮助开发者避免常见安全隐患。

mongodb5scout的博客 269

MobileBERT与DistilBERT:端侧NLP模型压缩技术的原理与性能对比

DistilBERT和MobileBERT代表了端侧模型压缩的两条路线:前者通过简单蒸馏(m层→6层)实现通用性和易用性,后者通过结构创新(bottleneck设计)实现极致效率。在应用实践中,DistilBERT适合精度优先或生态兼容性优先的场景,而MobileBERT适合延迟和内存硬约束的移动端场景。精度需求>95% BERT → DistilBERT延迟预算<5ms, 内存<100MB → MobileBERT需要多任务共享同一backbone → DistilBERT(兼容性更好)

jiang_style的博客 4622

工程师必看:如何用定时截尾试验快速验证产品MTBF(附真实案例解析)

本文为硬件工程师详细解析了如何运用定时截尾试验快速验证产品MTBF(平均无故障工作时间)。通过七步实战法,结合工业物联网网关的真实案例,阐述了从参数设定、试验执行到结果判读的完整流程,并提供了MATLAB脚本实现自动化计算与可视化,帮助工程师在有限时间内科学评估产品可靠性。

weixin_29243063的博客 501

Dynamics CRM证书更换

  Dynamics CRM产品一般有两种认证方式。第一种是基于声明的内部访问也就是无证书单纯用账号密码验证。第二种就是联合身份认证,需要安装网站证书。   对于联合身份认证的情况因为需要安装证书,而且证书是有一个一年的有效期,所以运维人员每年都需要进行证书更换的操作。以下就是更换证书的方法及过程。 证书根据申请方式一般也分两种,第一种是自建证书,这种证书是没有机构认证的所以安装上之后网站因为没...

bzpfly的博客 882

tensorflow/models 中的 MobileBERT:紧凑 BERT 的 TF2 实现、渐进蒸馏与预训练模型加载全解

本篇指南围绕 tensorflow/models 仓库中 `official/projects/mobilebert` 目录的 MobileBERT 项目展开:先讲清 MobileBERT 这一"薄版 BERT_LARGE"的网络结构与 TF2/Keras 实现,再完整覆盖预训练模型的规格与加载方式,并结合仓库源码深入解析其渐进式知识蒸馏训练流水线、TF1 到 TF2 的检查点转换工具以及 TF-

gitblog_00768的博客 1051

风二西CTF流量题大集合-刷题笔记|基础题(1)

部分题目已包含脚本和解题视频,但更建议自行分析和手搓脚本。

zerorzeror的博客 2769

大模型「瘦身」指南:从LLaMA到MobileBERT的轻量化部署实战

大模型「瘦身」指南:从LLaMA到MobileBERT的轻量化部署实战

layneyao的博客 2770

萤石摄像头批量下载视频后FFmepg拼接

本文描述萤石摄像头,如何批量下载视频,然后把视频片段拼接为一个完整的视频,亲测有效。有问题,可以下面留言

烤鱼哥哥的博客 1206

《供应链金融风控模型设计:多维度数据整合与动态风险预警机制》

注:方案突出供应链金融「三流合一」(资金流、物流、信息流)的风控逻辑,通过多维度数据整合与动态预警,解决传统风控中中小企业信用评估难、链条风险传导监测滞后的问题。◦ 构建供应链拓扑图,计算「核心企业违约对上下游企业的影响系数」(如某电子厂商违约时,其前五大供应商的风险权重自动提升40%)• 区块链应用:将核心企业应付账款上链存证,防止「一票多融」欺诈(如某供应商用同一应收账款在多家银行融资)◦ 财务数据:核心企业审计报告、上下游企业纳税数据(增值税发票频次/金额)

2501_91651383的博客 1552

使用MindStudio进行mobilebert模型训练

(“task-specifically”),这些工作的一般流程是首先将预训练的 BERT 模型在具体任务中进行 fine-tune,然后再进行蒸馏来获得小模型。BERT 在 NLP 领域的地位是举足轻重的,其预训练模型,在多种下游任务的迁移工作中都能给出非常好的效果。但于此同时,BERT 也受困于其庞大的模型参数和较慢的运行速度, 尤其是在于一些资源受限的移动端部署任务中,BERT 的实际应用是非常受限的。在预训练的阶段来进行知识蒸馏,获得一个压缩版的小 BERT(mobileBERT),能够达到可。

weixin_38239810的博客 267

【中项】案例分析 | 答题技巧 | 备考 

对偏差原因的分析和对项目未来趋势的理解。如果偏差是由一次性事件或特殊原因引起的,那么这种偏差是非典型的,意味着未来的绩效将回归到预期的绩效水平。例如,如果项目初期的CPI小于1,原因是意外的自然灾害导致成本增加,那么这种偏差被认为是非典型的,因为它不太可能在未来重复发生。例如,如果项目初期的CPI小于1,且原因是低效的团队协作,那么这种偏差被认为是典型的,因为它可能在整个项目生命周期中持续存在。在实际应用中,项目经理通常会结合CPI、SPI和偏差趋势图等工具,综合分析偏差的性质,以制定合理的项目控制策略。

静谧、淡雅 1255

MobileBERT架构

整理自网络,主要方便自己查询和记忆 (a)BERT,(b)MobileBER Tteacher模型和(c)MobileBERT student模型中的Transformer架构可视化。标有“linear”的绿色梯形称为bottlenecks。 知识迁移技术 (a)辅助知识迁移,(b)联合知识迁移,(c)渐进知识迁移。 通过逐步的知识迁移过程来训练MobileBERT的这些变体是最有效 MobileBERT 在转换模块中引入了bottleneck,这使我们可以更轻松地将知识从大teac.

AS7062031的博客 793

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

ACL 2020 | MobileBERT:一种与任务无关的模型压缩方法

©PaperWeekly 原创 ·作者|蔡杰学校|北京大学硕士生研究方向|问答系统论文标题:MobileBERT: a Compact Task-Agnostic BERT for R...

Paper weekly 1109

vb 6.0并口开发操作实例

vb6并口开发,简体中文,试例内有inpout32.dll动态链接库

上一篇: 模型蒸馏与压缩简单介绍
下一篇: 刘知远:NLP研究入门之道(一)走近NLP学术界
云隐雾匿
博客等级 码龄7年 1376粉丝 72原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址