MobileBERT:一个在资源有限设备上使用的BERT模型

Python中LLM的模型轻量化架构:MobileBERT与TinyBERT BERT(Bidirectional Encoder Representations from Transformers)是一种基于Transformer架构的预训练语言模型。它通过双向上下文理解来捕捉文本中的语义信息,从而在各种NLP任务中取得了显著的效果。BERT模型通常由多个Transformer编码器层组成,每一层包含多头自注意力机制和前馈神经网络。然而,BERT模型的参数量庞大,通常包含数亿甚至数十亿个参数。这使得BERT模型在训练和推理过程中需要大量的计算资源和存储空间。 阅读详情
AI摘要

MobileBERT是一种轻量级的BERT模型,专为资源受限的设备设计。它通过引入瓶颈层和堆叠FFN,结合渐进式知识迁移技术,实现在保持高性能的同时大幅减少参数量。

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”


作者:Viktor Karlsson

编译:ronghuaiyang

导读

在蒸馏之后对学生模型再进行微调,进一步提升能力。

随着NLP模型的大小增加到数千亿个参数,创建这些模型的更紧凑表示的重要性也随之增加。知识蒸馏成功地实现了这一点,在一个例子中,教师模型的性能的96%保留在了一个小7倍的模型中。然而,在设计教师模型时,知识的提炼仍然被认为是事后考虑的事情,这可能会降低效率,把潜在的性能改进留给学生。

此外,在最初的提炼后对小型学生模型进行微调,而不降低他们的表现是困难的,这要求我们对教师模型进行预训练和微调,让他们完成我们希望学生能够完成的任务。因此,与只训练教师模型相比,通过知识蒸馏训练学生模型将需要更多的训练,这在推理的时候限制了学生模型的优点。

如果在设计和训练教师模型的过程中,将知识的提炼放在首要位置和中心位置,会有什么可能呢?我们能否设计并成功地训练一个“假定”要被蒸馏的模型,蒸馏后的版本能否成功地在任何下游任务上进行微调?这是我们在本文中总结的MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices中提出的一些问题。

MobileBERT 结构

Transformer结构可视化 (a) BERT, (b) MobileBERT 教师,(c) MobileBERT 学生。用“Linear”标记的绿色梯形称为bottlenecks。

线性层

知识的蒸馏要求我们比较老师和学生的表示,以便将它们之间的差异最小化。当两个矩阵或向量维数相同时,这是很直接的。因此,MobileBERT在transformer块中引入了一个bottleneck 层。这让学生和老师的输入在大小上是相等的,而他们的内部表示可以不同。这些bottleneck在上图中用“Linear”标记为绿色梯形。在本例中,共享维度是512,而教师和学生的内部表示大小分别是1024和128。这使得我们可以使用BERT-large(340M参数)等效模型来训练一个25M参数的学生。

此外,由于两个模型的每个transformer块的输入和输出尺寸是相同的,因此可以通过简单的复制将嵌入参数和分类器参数从教师传递给学生!

多头注意力

细心的读者会注意到,多头注意块(MHA)的输入不是先前线性投影的输出。相反,使用初始输入。这篇论文的设计选择没有任何动机,只能让我们去推测。我相信其原因是它所允许的自由度增加了。基本上,我们将迫使模型处理信息的方式分离为两个单独的流,一个流入MHA块,另一个作为跳跃连接。(使用线性投影的输出并不会因为初始的线性变换而改变MHA块的行为,这也是很容易说服自己的。)

堆叠FFN

为了在这个小的学生模型中实现足够大的容量,作者引入了他们所谓的stacked FFN,如图中学生模型概述中的虚线框所示。Stacked FFN只是简单的将Feed Forward + Add & Norm blocks块重复了4次,选择这一方式来得到MHA和FFN block之间的良好的参数比例。本工作中的消融研究表明,当该比值在0.4-0.6范围内时,性能最佳。

操作优化

由于其目标之一是在资源有限的设备上实现快速推理,因此作者确定了他们的架构可以进一步改进的两个方面。

  1. 把smooth GeLU的激活函数更换为ReLU

  2. 将normalization操作转换为element-wise的线性变换

建议知识蒸馏目标

为了实现教师和学生之间的知识转移,作者在模型的三个阶段进行了知识蒸馏:

  1. 特征图迁移 —— 允许学生模仿老师在每个transformer层的输出。在上面的架构图中,它表示为模型输出之间的虚线箭头。

  2. 注意力图迁移 —— 这让老师在不同层次上关注学生,这也是我们希望学生学习的另一个重要属性。这是通过最小化每一层和头部的注意力分布(KL散度)之间的差异而实现的。

  3. 预训练蒸馏 —— 也可以在预训练中使用蒸馏,通过组合Masked语言建模和下一个句子预测任务的线性组合。

有了这些目标,我们就有了不止一种方法来进行知识的提炼。作者提出了三种备选方案:

  1. 辅助知识迁移。分层的知识迁移目标与主要目标(Masked语言建模和下一句预测)一起最小化。这可以被认为是最简单的方法。

  2. 联合知识迁移。不要试图一次完成所有的目标,可以将知识提炼和预训练分为两个阶段。首先对所有分层知识蒸馏损失进行训练直到收敛,然后根据预训练的目标进行进一步训练。

  3. 进一步的知识转移。两步法还可以更进一步。如果所有层同时进行训练,早期层没有很好的最小化的错误将会传播并影响以后层的训练。因此,最好是一次训练一层,同时冻结或降低前一层的学习速度。

知识迁移技术。(a) 辅助知识迁移,(b) 联合知识迁移, (c) 进一步知识迁移

实验结果

作者在三种配置中评估了他们提出的MobileBERT:有25M参数的主模型(MobileBERT),没有操作优化的同一个模型(MobileBERT w/o OPT),以及只有15M参数的模型(MobileBERT-tiny)。这些模型都与基线算法进行了比较,如ELMo,GPT和BERT-base以及相关蒸馏工作:BERT-PKD, DistilBERT。

研究发现,通过渐进式知识转移,训练这些不同的MobileBERT是最有效的,其效果始终显著优于其他两个。

在GLUE benchmark上的结果

我们发现,MobileBERT w/o OPT比大得多的BERT-base的平均GLUE得分高出0.2,而比它小4倍。另一方面,MobileBERT仅落后于BERT-base 0.6分,但推理时间快得多 —— 在Pixel 4的手机上对128个tokens序列进行推理只需要62毫秒!然而,它的性能仍然具有竞争力,因为它的性能远远超过GTP和ELMo。

因此,可以肯定地说,我们可以创建一个蒸馏模型,它可以在资源有限的设备上达到既高性能又快速

与TinyBERT相比,MobileBERT-tiny的性能略好一些。然而,当你考虑到TinyBERT是如何为GLUE任务进行微调时,这一点就更令人印象深刻了。记住,在此工作之前,不可能去微调学生模型,因为他们的容量太小了。因此,在把它的知识提炼成TinyBERT之前,必须对它的老师BERT-base进行微调!但对MobileBERT来说,情况并非如此。

MobileBERT已经在GLUE上被自己进行了微调,这证明了它可以通过建议的蒸馏过程创建一个任务不可知的模型。

总结

MobileBERT在transformer模块中引入了bottlenecks,这使得我们可以更容易地将知识从大尺寸的教师模型中提取到小尺寸的学生模型中。这种技术允许我们减少学生的宽度,而不是深度,这是已知的,以产生一个更有能力的模型。这个模型强调了这样一个事实,它可以创建一个学生模型,它本身可以在最初的蒸馏过程后进行微调。

此外,结果还表明,这在实际应用中也是正确的,因为在Pixel 4的手机上,MobileBERT在GLUE上的参数减少了4倍,推理速度加快了5.5倍,却能达到BERT-base性能的99.2%。

—END—

英文原文:https://medium.com/dair-ai/mobilebert-a-task-agnostic-bert-for-resource-limited-devices-️-c4fe3ee3815d

请长按或扫描二维码关注本公众号

喜欢的话,请给我个好看吧!

DL-Paper精读:MobileBERT MobileNERT: a Compact Task-Agnostic BERT for Resource-Limited Devices https://arxiv.org/abs/2004.02984 Background BERT在NLP领域的地位是举足轻重的,其预训练模型,在多种下游任务的迁移工作中都能给出非常好的效果。但于此同时,BERT也受困于其庞大的模型参数和较慢的运行速度,尤其是在于一些资源受限的移动端部署任务中,BERT的实际应用是非常受限的。 Related work and t 阅读详情

相关推荐

MobileBERT —资源受限设备上的任务无关BERT

随着NLP模型的规模增加到数千亿个参数,对这些模型进行高效的压缩也越来越重要。知识蒸馏成功地实现了这一目标,典型例子:student模型压缩了1/7却达到了模型96%的效果(https://medium.com/dair-ai/tinybert-size-does-matter-but-how-you-train-it-can-be-more-important-a5834831fa7d)。但是,在设计teacher模型时仍会考虑知识蒸馏,这可能会降低有效性,使student模型潜在的表现提高。 ...

lqfarmer的博客 798

MobileBERT模型简单介绍

可以看到在渐进式知识迁移中,词向量层和最终分类输出层的权重是直接从教师模型拷贝至学生模型的,始终不参与参数更新。首先,学生模型开始学习教师模型的第一层。接下来,学生模型继续学习教师模型的第二层,而此时学生模型的第一层权重是不参与更新的。依此类推,当学生模型学习教师模型的第i层时,学生模型中所有小于 i 层的权重均不参与更新。需要注意的是,由于MobileBERT(学生模型)与教师模型的层数一致(均为12层),这里不需要设计映射函数,只需要将教师模型和学生模型的每一层进行一一对应即可。

云隐雾匿的博客 1846

Transformer课程 第30章Transformer模型DeBERTa架构

第30章:使用disentangled attention机制Transformer模型DeBERTa架构内幕及完整源码实现 1,使用两个vector来编码每个word的content和position 2,在pretraining阶段使用output enhanced mask decoder取代softmax layer对masked words预测的数学原理剖析 3,DebertaEmbeddings完整源码实现解析 4,DebertaPreTrainedModel完整源码实现解析 5,Disenta

大模型与Agent智能体 1027

BERT知识蒸馏

预训练模型BERT以及相关的变体自从问世以后基本占据了各大语言评测任务榜单,不断刷新记录,但是,BERT庞大的参数量所带来的空间跟时间开销限制了其在下游任务的广泛应用。基于此,人们希望能通过Bert得到一个更小规模的模型,同时基本具备Bert的能力,从而为下游任务的大规模应用提供可能性。目前许多跟Bert相关的蒸馏方法被提出来,本章节就来分析下这若干蒸馏方法之间的细节以及差异。 知识蒸馏由两个模型组成,teacher模型跟student模型,一般teacher模型规模跟参数量都比较庞大,所以能力更强,

yaohaishen的专栏 1780

[论文笔记]MobileBERT

⭐ 作者提出了MobileBERT,是一种任务无关的BERT变体,仅需简单的微调就能广泛地应用于不同的下游任务。MobileBERT被设计成和BERT-large一样深,是一种深而窄的结构,通过采用瓶颈结构与在自注意力和前馈网络之间的平衡来窄化每层。提出了替换层归一化和改用relu激活来提升模型的速度,但会有一定程度上(一个点左右)的性能下降。

日积月累,天道酬勤 960

Transformer课程 第37章Transformer模型MobileBERT架构

第37章:可运行在终端设备的Transformer模型MobileBERT架构内幕及完整源码实现 1,Compact BERT on resource-limited设备上 2,teacher model数学原理解析 3,MobileBertTokenizer源码完整实现分析 4,load_tf_weights_in_mobilebert源码完整实现分析 5,NoNorm源码完整实现分析 6,MobileBertEmbeddings源码完整实现分析 7,MobileBertAttention源码完整实现分析

大模型与Agent智能体 711

星空对话机器人-Transformer-可运行在终端设备的Transformer模型MobileBERT架构及完整源码实现

第37章:可运行在终端设备的Transformer模型MobileBERT架构内幕及完整源码实现 1,Compact BERT on resource-limited设备上 2,teacher model数学原理解析 3,MobileBertTokenizer源码完整实现分析 4,load_tf_weights_in_mobilebert源码完整实现分析 5,NoNorm源码完整实现分析 6,MobileBertEmbeddings源码完整实现分析 7,MobileBertAttention源

chu227的博客 434

谷歌提出任务无关的轻量级预训练模型MobileBERT:

本文来自于SIGAI公众号,由火龙果软件Anna编辑、推荐。近几年,NLP社区见证了一场预训练监督模型的革命。这些模型通常有数亿个参数,在这些模型中,BERT的精度提升最为显著。然而,作为NLP中最大的模型之一,BERT的模型容量大、时延高,使得资源有限的移动设备无法在基于移动的机器翻译、对话建模等方面发挥BERT的能力。目前业界已经做了一些努力,特别是针对特定任务对BERT模型进行蒸馏。据我们所知,目前还没有任何工作能构建出一个与任务无关的轻量级预训练模型,也就是说,它需要跟原始BERT一样能在不同的下游NLP任务上进行一般的微调。在本文中,我们提出了MobileBERT来填补这一空白。在实

论文阅读_知识蒸馏_MobileBERT

使用了瓶颈结构,同时微调模型实现加速,最终实现了任务无关的蒸馏BERT模型。

谢彦的技术博客 1387

CXL协议-第三章 CXL事务层

CXL.io为I/O设备提供了一个非一致的负载/存储接口。图3-1显示了Flex总线分层层次结构中的位置。事务类型、事务分组格式、基于信用的流量控制、虚拟通道管理和事务排序规则遵循PCIe*定义,详情请参考PCIe基础规范的“事务层规范”章节。本章重点介绍了用于CXL.io的著名的PCIe操作模式或特性。

qq_41305217的博客 2773

Qi标准无线充学习笔记

负载调制主要通过接收端向后散射调制计数使得功率信号改变,两者通过线圈的电压和电流的变化量来传输信号。下面是要求稳定电流的变化量不得超出8ma,判断稳定的时间至少要在150us稳定电压的变化量不得超出110mv,判断稳定的时间至少要在150us高低电流变化量至少需要15mA,判断稳定的时间至少要在100us,主线圈电流采样的时间是在半桥转换的1/4周期刻测量的高低电压变化量至少需要200mV,判断稳定的时间至少要在100us。

m0_73991989的博客 1014

使用MindStudio进行mobilebert模型训练

(“task-specifically”),这些工作的一般流程是首先将预训练的 BERT 模型在具体任务中进行 fine-tune,然后再进行蒸馏来获得小模型。BERT 在 NLP 领域的地位是举足轻重的,其预训练模型,在多种下游任务的迁移工作中都能给出非常好的效果。但于此同时,BERT 也受困于其庞大的模型参数和较慢的运行速度, 尤其是在于一些资源受限的移动端部署任务中,BERT 的实际应用是非常受限的。在预训练的阶段来进行知识蒸馏,获得一个压缩版的小 BERT(mobileBERT),能够达到可。

weixin_38239810的博客 267

iverilog+GTKwave使用总结

iverilog是一个开源的硬件描述语言(HDL)仿真工具,用于对硬件描述语言(如Verilog)编写的数字电路进行仿真。它可以将Verilog代码编译为仿真模型,并通过仿真运行来验证设计的正确性。iverilog支持IEEE 1364-2005 Verilog语言标准,并提供了丰富的功能,包括对多种Verilog语言特性的支持、模块化设计、测试平台等。它还可以与其他工具(如GTKWave波形查看器)配合使用,以便进行仿真后的波形查看和分析。

争取早日成为硅农 2万+

MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices(2020-4-6)

近年来,自然语言处理(NLP)通过使用具有数亿个参数的巨大预训练模型取得了巨大的成功。然而,这些模型受到沉重的模型尺寸和高延迟的影响,因此无法部署到资源有限的移动设备上。因此这里提出了MobileBERT来压缩和加速流行的BERT模型。与原始的BERT一样,MobileBERT是任务不可知论的,也就是说,它可以通过简单的微调通用地应用于各种下游NLP任务。基本上,MobileBERT是BERTLARGE​的精简版,同时配备了瓶颈结构和精心设计的在自注意和前馈网络之间的平衡。

weixin_49346755的博客 724

企查查爬取实战

实战成果完成接口定位、抓包参数拆解、签名逆向、报错修复全流程调试,梳理出企查查多层风控逻辑;最终按照搜索分页规则,规范整理出两页共 20 条结构化企业数据,以标准 JSON 格式本地保存,字段完整、数据排版规范。现存局限平台顶层设备指纹与人机验证风控,纯 requests 网络请求模式无法突破;高频请求还存在账号限流、IP 访问限制风险,爬虫稳定性受平台策略影响较大。技术收获。

czr2026的博客 1137

sysbench安装(在线&离线)

sysbench下载、安装、编译和异常处理方法

m0_61066945的博客 8763

MobileBERT架构

整理自网络,主要方便自己查询和记忆 (a)BERT,(b)MobileBER Tteacher模型和(c)MobileBERT student模型中的Transformer架构可视化。标有“linear”的绿色梯形称为bottlenecks。 知识迁移技术 (a)辅助知识迁移,(b)联合知识迁移,(c)渐进知识迁移。 通过逐步的知识迁移过程来训练MobileBERT的这些变体是最有效 MobileBERT 在转换模块中引入了bottleneck,这使我们可以更轻松地将知识从大teac.

AS7062031的博客 793

开源分享:苹果群控手机源代码解析与实战

本文介绍了苹果设备群控的基本原理和实现方法,重点解析了基于Python+Appium的群控系统构建。主要内容包括:1)设备连接管理技术(USB/Wi-Fi);2)自动化控制方式(WDA/AppleScript/Appium);3)实战演示了通过Python脚本实现多设备同时控制,涵盖环境配置、代码解析和功能说明;4)提出了多线程、图像识别等优化方向。文章为开发者提供了快速上手的群控方案,适用于自动化测试、批量管理等场景,并推荐了相关开源项目参考。

2403_88540309的博客 1351

模型压缩:量化、剪枝和蒸馏

点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达编者荐语近年来,BERT 系列模型成了应用最广的预训练语言模型,随着模型性能的提升,其参数规模不断增大,推理速度也急剧提升,导致原始模型必须部署在高端的GPU 显卡上,甚至部分模型需要多块显卡才能正常运行。转载自丨博文视点Broadview前言 在移动智能终端品类越发多样的时代,为了让预训练语言模型可以顺利部署在算力和存储空间...

小白学视觉 3904

一文掌握 MongoDB 详细安装与配置(Windows / Linux / macOS 全平台)

本文详细介绍了MongoDB社区版7.0+在Windows、Linux和macOS三大操作系统上的完整安装、配置与安全加固流程。主要内容包括:各平台推荐安装方式(Windows使用MSI安装包、Linux通过官方仓库、macOS通过Homebrew)、基本配置参数说明、服务启动方法以及关键安全措施(如创建管理员用户和启用身份验证)。文章还提供了系统最低要求、下载地址、数据目录设置建议以及生产环境使用注意事项,适合开发、测试及生产环境部署参考。

数据知道的博客 6733

深入Kafka:从SASL_PLAINTEXT到SASL_SSL的迁移之旅

本文详细介绍了如何将Apache Kafka从SASL_PLAINTEXT模式迁移到更安全的SASL_SSL模式。内容包括创建密钥库和信任库、生成证书签名请求、设置证书颁发机构、签署CSR以及修改Kafka配置文件的完整步骤。针对常见问题如SSL握手失败和循环连接尝试提供了解决方案。通过实施这些步骤,可以确保Kafka数据传输的安全性,实现客户端身份验证和加密传输。文章强调在操作过程中需仔细检查配置文件和证书信息,以确保迁移顺利完成。

m0_74337424的博客 87

【自然语言处理 | Language Models】Language Models 常见算法介绍合集(六)

【自然语言处理 | Language Models】Language Models 常见算法介绍合集(六)

wzk4869的博客 668

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Bert系列之知识蒸馏

每天给你送来NLP技术干货!来自:NLP日志提纲1简介2 DualTrain+SharedProj3 DistilBERT4 LSTM5 PKD6 TinyBert7 MOBILEBERT8总结参考文献1 简介预训练模型BERT以及相关的变体自从问世以后基本占据了各大语言评测任务榜单,不断刷新记录,但是,BERT庞大的参数量所带来的空间跟时间开销限制了其在下游...

zenRRan的博客 761

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

自然语言处理——基于预训练模型的方法——第8章 预训练语言模型进阶

自然语言处理——基于预训练模型的方法——第8章 预训练语言模型进阶

代码改变世界 1790

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

移动端AI革命:MobileBERT超轻量模型部署全指南(附NPU加速方案)

你是否还在为NLP模型部署到移动端而头疼?推理速度慢如蜗牛、内存占用居高不下、电量消耗快得惊人?MobileBERT横空出世,彻底改变了这一局面!本文将带你深入了解这款由Google精心打造的紧凑型BERT模型,掌握从环境搭建到NPU加速的全流程部署方案,让你在资源受限设备上也能享受SOTA级NLP能力。 读完本文你将获得: - MobileBERT与传统BERT的核心差异解析 - 3分钟快速上...

gitblog_02009的博客 514
上一篇: 关于Scikit-Learn,你不一定知道的10件事
下一篇: 关于如何使用机器学习来做异常检测的7个问题
ronghuaiyang
博客等级 码龄13年 1303粉丝 481原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址