从jieba分词到BERT-wwm——中文自然语言处理(NLP)基础分享系列(12)

chinese-bert-wwm-ext from transformers import BertTokenizer, BertModel import torch tokenizer = BertTokenizer.from_pretrained("hfl/chinese-bert-wwm-ext") model = BertModel.from_pretrained("hfl/chinese-bert-wwm-ext") batch_sentence = [ "这是第一句话", "这是第二句话", "第三句,有点长 阅读详情
AI摘要

本文是NLP基础分享系列的最后一期,介绍了transformer与transformers的区别,以及Huggingface Transformers库的使用。重点讲解了全词掩码的Bert-wwm-ext模型,通过实例展示了如何使用Transformers库进行模型微调,最终在有限的样本上实现了超过孪生LSTM模型的性能。

在Huggingface transformers平台上微调BERT-wwm-ext

今天是本系列的最后一期。

transformer 与 transformers

为了避免命名带来的混淆,我们首先来厘清一下:transformer 与 transformers。

• transformer

在上一期里,我们已经做过介绍,transformer是一种具有多头自注意力机制的、可以取代RNN/LSTM的神经网络单元结构。

本质上它是一种深度学习技术。

• transformers

今天提到的transformers,是Huggingface🤗公司开发的一套python库包,它提供一个平台框架,使得transformer技术实现的各类模型能通过一致化的接口方式呈现和调用。在其主页上它是这么自我介绍的:

🤗 Transformers 提供 API 来轻松下载和训练最先进的预训练模型。使用预训练模型可以降低您的计算成本、碳足迹,并节省您从头开始训练模型的时间。这些模型可用于不同的模式,例如:

📝 文本:超过 100 种语言的文本分类、信息提取、问答、摘要、翻译和文本生成。

🖼️ 图像:图像分类、对象检测和分割。

🗣️ 音频:语音识别和音频分类。

🐙 多模态:表格问答、光学字符识别、从扫描文档中提取信息、视频分类和视觉问答。

该库支持三个最流行的深度学习库之间的无缝集成:PyTorch、TensorFlow和JAX。在一个框架中用三行代码训练模型,然后加载它以与另一个框架进行推理。

每个🤗 Transformers 架构都在独立的 Python 模块中定义,因此可以轻松定制它们以进行研究和实验。

本质上它是一种研发工具产品。

BERT-wwm-ext

Google在发布公开论文『Attention Is All You Need』的同时,推出了开源的transformer架构BERT(Bidirectional Encoder Representation from Transformers)。可以说BERT开辟了NLP的新时代,产学研界参考BERT推出了很多类似的变种模型,如:RoBERTa、BART等。

在中文的类BERT研究中,除了Google原生的bert-base-chinese之外,Bert-wwm、MacBert、ChineseBert等模型创新了不同的机制进行优化,具有比较大的知名度和影响力。

我们今天将基于哈工大与科大讯飞联合实验室(HFL)研发的Bert-wwm-ext进行微调,实现我们的场景任务目标——辨别新闻标题A和B的关系分类。
与原始的bert-base-chinese中文采用单字掩码方式不同,Bert-wwm-ext提供了所谓全词掩码(Whole Word Masking)的预训练方式。如下图所示:
在这里插入图片描述

全词掩码有两个优点:

1、部分解决了MLM独立性假设,使得预测token之间拥有了一定的关联性

2、提高了MLM任务难度,使得模型需要更多依赖远距离的上下文来判断掩码部分的内容

接下来将看到,使用🤗 Transformers 库将使我们的代码非常简化:虽然Bert-wwm-ext 的网络结构的复杂程度要远远超过前面的孪生LSTM网络,但实现的代码行数却会大大降低。

from huggingface_hub import snapshot_download
#从官方的huggingface_hub下载模型配置、参数、模型词库等信息

snapshot_download(repo_id="hfl/chinese-bert-wwm-ext", ignore_regex=["*.h5", "*.ot", "*.msgpack"])
c:\users\hp\appdata\local\programs\python\python37\lib\site-packages\huggingface_hub\utils\_deprecation.py:92: FutureWarning: Deprecated argument(s) used in 'snapshot_download': ignore_regex. Will not be supported from version '0.12'.

Please use `allow_patterns` and `ignore_patterns` instead.
  warnings.warn(message, FutureWarning)





'C:\\Users\\HP/.cache\\huggingface\\hub\\models--hfl--chinese-bert-wwm-ext\\snapshots\\2a995a880017c60e4683869e817130d8af548486'
from transformers import AutoConfig,AutoTokenizer,AutoModel,AutoModelForSequenceClassification
model_name = 'C:\\Users\\HP/.cache\\huggingface\\hub\\models--hfl--chinese-Bert-wwm-ext\\snapshots\\2a995a880017c60e4683869e817130d8af548486' 
config = AutoConfig.from_pretrained(model_name) 
tokenizer = AutoTokenizer.from_pretrained(model_name) 

model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=3) #新闻标题A和B的关系标签有3种类型 
Some weights of the model checkpoint at C:\Users\HP/.cache\huggingface\hub\models--hfl--chinese-Bert-wwm-ext\snapshots\2a995a880017c60e4683869e817130d8af548486 were not used when initializing BertForSequenceClassification: ['cls.predictio
中文NLP必备:jieba分词与BERT-wwm全词掩码原理及工程实践 中文NLP任务中,分词是绕不开的预处理环节,而预训练模型BERT-wwm则是近年来的技术热点。从分词的基本原理出发,理解jieba如何通过前缀词典、DAG与HMM解决中文词边界问题,是掌握自然语言处理工程的基础。随着BERT等模型兴起,全词掩码(WWM)技术将词知识注入预训练过程,显著提升中文语义理解效果。实际项目中,将jieba的快速分词能力与BERT-wwm的深度语义表征结合,既能控制成本又能保证效果,是工业级应用的主流方案。本文详解两者原理、差异与协同落地策略。 阅读详情

相关推荐

chinese-bert-wwm-ext.rar

哈工大版本,for pytorch

chinese_wwm_ext_pytorch.zip

该资源搬运自https://github.com/ymcui/Chinese-BERT-wwm#%E4%B8%AD%E6%96%87%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD 因为Github下载速度较慢,于是搬运到CSDN供大家使用,如果侵权,请及时告知删除。

如何在TRAE(国际版)中搭建ESP-IDF环境以及怎么使用ESP-IDF插件编译烧录到ESP32s3中

点击进入,再点击ESPRESSIF中的EXPRESS,这里会下载ESP-IDF所需要的全部工具和包等等。首先我们从终端中进入项目所在的目录中,我的项目在E盘下的jikecode\esp32s3-client中,我就进入这个目录下。,因为我的项目是针对ESP32-S3进行开发的,所以这里的芯片型号是esp32s3,大家根据各自芯片的型号来输入。执行了这个命令后,ESP-IDF会自动配置与ESP-S3相关的编译选项,生成对应芯片的配置文件。进入第一个ESP-IDF插件,进行安装,注意安装的是。

一个爱折腾技术的普通人,分享踩过的坑、学到的干货。 1518

MATLAB信号处理实战:VMD分解参数调优全指南(附避坑技巧)

本文深入探讨了MATLAB中变分模态分解(VMD)的核心参数调优实战技巧。针对模态数K和惩罚系数α的选择难题,提供了从经验估计、可视化观察到量化指标辅助的渐进式调优框架,并分享了避免过分解与欠分解的实用避坑指南,旨在帮助工程师高效处理非平稳信号,提取清晰的物理特征。

weixin_29079671的博客 146

从MFCC到GMM:手把手教你用Python实现说话人识别(附完整代码)

本文详细介绍了如何使用Python实现说话人识别系统,从MFCC特征提取到GMM模型训练,涵盖完整的技术流程和代码示例。通过梅尔频率倒谱系数(MFCC)和高斯混合模型(GMM)的结合,构建高效的说话人识别系统,适用于身份认证和智能交互场景。文章还探讨了从传统方法到深度学习的进阶话题,如i-vector和x-vector技术。

o1p2q3r的博客 201

单细胞实战之数据净化三部曲:细胞周期校正、双胞体剔除与RNA污染清理——技术解析与实战指南

本文深入解析单细胞数据分析中至关重要的数据净化步骤,即细胞周期校正、双胞体剔除与RNA污染清理。通过实战代码演示与原理剖析,指导读者如何有效识别并去除技术噪音,从而获得更纯净、可靠的数据,为后续的细胞分群、差异表达等高级分析奠定坚实基础。

weixin_29274337的博客 214

FPGA实现16x16点阵汉字滚动显示:Verilog代码与Quartus仿真详解

本文详细介绍了如何使用FPGA实现16x16点阵汉字滚动显示,包括Verilog代码设计、Quartus仿真及硬件连接技巧。通过字模数据存储和扫描控制逻辑,实现汉字的动态显示效果,并提供了优化建议和常见问题解决方案,适合FPGA开发者和硬件爱好者学习参考。

weixin_29172963的博客 358

Simulink中带死区时间的SPWM建模与仿真实践指南

正弦脉宽调制(SPWM)是电力电子和电机驱动领域的核心调制技术,其原理是通过高频载波与低频调制波比较,生成宽度按正弦规律变化的脉冲序列,用于控制功率开关器件的通断。在桥式电路中,为防止上下管直通短路,必须插入死区时间,即在开关信号跳变沿插入一段两路信号均为关断的延时。死区时间虽然保护了硬件,但会引入输出电压损失、谐波畸变等非线性效应,影响系统效率和控制性能。因此,在仿真阶段精确建模SPWM及死区时间,对于评估逆变器、电机控制器和开关电源的真实性能至关重要。本文以MATLAB/Simulink为平台,详细讲解

weixin_30781107的博客 511

03 Token、Embedding、上下文窗口:开发者必须懂的三个基本概念

Token、Embedding 和上下文窗口是大模型应用开发的三个基础概念。本文从成本、速度、检索和上下文设计四个角度讲清它们的工程意义,帮助开发者理解为什么同一段内容会超限、变贵,为什么 RAG 能做语义检索。

老于的笔记的专栏 417

Fiori Elements Analytical List Page 标题区配置全攻略:从变体、过滤模式到 UI.KPI 的工程化落地

ALP标题区是Fiori Elements Analytical List Page的核心交互区域,承担变体管理、过滤模式切换、KPI展示等关键功能。本文系统解析了标题区的组成结构、可用能力及工程实现要点,包括:1)标题区包含过滤类型切换、全局KPI、变体管理等交互元素;2)详细说明视觉过滤与紧凑过滤的同步规则及实现方式;3)介绍OData V2下通过UI.KPI注解配置标题区KPI的方法;4)提供manifest.json配置示例和CDS注解写法。文章还对比了V2与V4版本的差异,为ALP开发提供实用指导

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 250

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

上一篇: 从jieba分词到BERT-wwm——中文自然语言处理(NLP)基础分享系列(11)
moronism189
博客等级 码龄6年 8粉丝 12原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址