大模型事件抽取学习——论文学习笔记《LLMs Learn Task Heuristics from Demonstrations:......》

大模型事件抽取学习——论文学习笔记《LC4EE: LLMs as Good Corrector for Event Extraction》 ​ 本篇博客介绍一篇发表在2024 ACL finding上的文章:《LC4EE: LLMs as Good Corrector for Event Extraction》 方向:大模型事件抽取 本篇博客为个人阅读论文的总结与笔记,在这里进行简单的分享 论文链接:LC4EE: LLMs as Good Corrector for Event Extraction - ACL Anthology 阅读详情
AI摘要

该博客介绍了一篇关于大模型事件抽取的论文,提出启发式驱动类比链接(HD-LoA)提示。此提示可减轻文档级事件参数提取对大规模标记数据的依赖,通过实验验证其在该任务及情感分析、自然语言推理等任务中,优于现有提示和少量监督学习方法,还分析了其有效性原因。

        本篇博客介绍一篇发表在2024 ACL main上的文章:《LLMs Learn Task Heuristics from Demonstrations: A Heuristic-Driven Prompting Strategy for Document-Level Event Argument Extraction》

        方向:大模型事件抽取

        本篇博客为个人阅读论文的总结与笔记,在这里进行简单的分享

        论文链接:https://arxiv.org/abs/2311.06555

摘要

        在本研究中,我们探索了上下文学习(ICL)在文档级事件参数提取(EAE)中的应用,以减轻该任务对大规模标记数据的依赖。我们引入了为EAE任务量身定制的启发式驱动类比链接(HD-LoA)提示。具体来说,我们假设并验证LLMs从ICL的演示中学习任务特定的启发式。在此假设的基础上,我们引入了一种显式启发式驱动的演示构建方法,该方法将随机示例选择过程转换为强调任务启发式的系统方法。此外,受人类类比推理的启发,我们提出了类比链接提示,这使得LLMs能够通过与已知情况进行类比来处理新情况,从而提高了它们在有限的ICL示例之外的未知类上的性能。实验表明,该方法在文档级EAE数据集上优于现有的提示方法和少量监督学习方法。此外,HD-LoA提示在情感分析和自然语言推理等其他任务中也显示出有效性,显示了其广泛的适应性。

一、简介

        文档级事件参数提取(EAE)旨在将文档中的非结构化事件信息转换为封装事件参数的结构化格式。该任务的流行方法依赖于标记数据的收集和随后通过监督学习进行的模型训练,这种方法虽然有效,但也有一个明显的缺点:它需要大量的训练数据,考虑到文档级EAE固有的复杂性,这是特别繁重和昂贵的。

        情境学习(ICL)是大型语言模型(LLMs)的一种新兴能力,为监督学习提供了一种替代方案。ICL减轻了对大规模数据的需求,因为它只使用几个示例作为提示的输入-输出对,以指导LLMs在看不见的示例上执行任务。

ICL挑战:

        1)例子选择。为ICL选择最佳的上下文示例是至关重要的,然而LLMs从这些示例中学到什么仍然在很大程度上没有得到充分的探索。这一差距导致缺乏系统的指导方针,导致一个混乱和低效的例子选择过程。

        2)上下文长度限制。在文档级EAE中,选择多个文档作为ICL示例可以扩展上下文长度,可能超过LLMs的令牌限制。

        3)事件类型丰富。EAE任务可以涉及一百多个不同的事件类型和参数角色。然而,ICL示例只能捕获一个狭窄的子集,而忽略了大多数参数角色。在具有不同类类型的分类任务中,处理超出有限ICL示例的未见类是一个常见问题。

        4)非推理任务提示策略。思维链(CoT)提示是在各种任务中广泛使用,其有效性在非推理场景中受到损害。如图1所示,将CoT应用于非推理任务会将其逐步推理降级为可能不充分的单步骤。

        因此,有必要为非推理任务量身定制提示策略。

图1:对于非推理任务,CoT的分步推理退化为单步推理。比较推理任务(橙色)和非推理任务(蓝色)的推理步骤。不同的颜色表示不同的推理步骤。

        左边就是一步步推理,右边给予者与捐赠简单推理&虚假推理不合逻辑。

提出启发式驱动的类比链接提示,应对上述挑战:

        我们提出并实证验证了LLMs从ICL中的示例中学习任务特定启发式的假设。启发式,被定义为“推断特定任务答案的高级规则或策略”,在人类认知中起着至关重要的作用。人类使用启发式作为有效的认知途径,这通常比复杂的方法导致更准确的推断。

        类似地,在监督式机器学习(ML)系统中,模型也通过训练学习特定于任务的模式。与此类似,我们假设LLMs从上下文示例的解释中学习任务特定的启发式,以帮助推理。我们定性地说明了图2中启发式是如何隐含地嵌入到上下文示例的解释中的,并通过第2节中详细的实验定量地验证了我们的假设。ICL在机制上与监督式ML有根本不同:监督式ML在训练期间学习和更新模型参数,而LLMs在所有参数冻结的情况下进行ICL。因此,对监督式机器学习系统(例如模式学习)的理解不适用于ICL。

图2:启发式隐含地嵌入在上下文示例的解释中

        ①giver是人或组织;主语-动词-对象的启发②比较两者进行启发;使用知识启发,已知游戏节目事实回答

        提出了一种启发式驱动的示范构建方法。根据我们的假设,任务启发式对LLMs的ICL性能至关重要,但它们通常通过示例隐含地传达。这种隐含性使检验演示是否包含不同的启发式变得复杂,并导致LLMs是否认识到这些启发式的不确定性。此外,对于ICL来说,上下文示例的选择仍然是一个未被充分探索的挑战。为了解决这些问题,在人类利用显式启

matlab tolx,Nelder-Mead算法matlab Nelder-Mead算法适合变量数不是很多的方程求极值.原理:Nelder-Mead法是利用多面体来逐步逼近最佳点x*.设函数变量为n维,则在n维空间里多面体有(n+1)个顶点.设x1,x2,...,xn+1为多面体的顶点,且满足:f(x1)<=f(x2)<=...<=f(xn+1)Nelder-Mead法试着将多面体中最差的顶点xn+1(也就是函数的最大点)以新的最佳点替代,... 阅读详情

相关推荐

用STM32手搓一个体温计

市面上大多额温计、测温计精度。

m0_61687959的博客 2376

手把手教你用FPGA驱动DAC8830:一个Verilog SPI驱动模块的完整实现与调试

本文详细介绍了如何使用FPGA通过Verilog实现DAC8830的SPI驱动模块,包括SPI通信机制解析、Verilog模块设计、代码优化及调试技巧。重点解决时钟同步、状态机设计等工程实践问题,适用于音频处理、仪器仪表等高精度数模转换场景。

weixin_26886855的博客 235

Lattice FPGA 开发流程(以 ECP5 为例)

以下是以 Lattice ECP5 FPGA 为例的开发流程,涵盖从需求分析到硬件部署的完整步骤。ECP5 系列是 Lattice 提供的高性能、低功耗 FPGA,适用于通信、工业控制和嵌入式系统等领域。

u011732210的博客 1266

STM32读取BQ40Z50的数据

TI电池管理芯片BQ40Z50,通信协议是SMBUS,类似IIC,速率要求10-100KHz   用的STM32F103的硬件IIC读取电池的各种数值,源代码如下: ​ #include "iic.h" #include "stdio.h"  //***************************************************** // IIC2初始化函数:初始化ST...

百步登峰的博客 1万+

【Pytorch】DCGAN实战(三):二次元动漫头像生成

文章目录1.实现效果2.环境配置2.1Python2.2Pytorch、CUDA2.3Python IDE3.具体实现3.1数据预处理(data.py)(1)导入包(2)定义数据类3.2模型Generator,Discriminator,权重初始化(model.py)(1)导入包(2)Generator(3)Discriminator(4)权重初始化3.3网络训练(net.py)(1)导入包(2)创建类3.4 主函数(main.py)(1)导入文件(2)定义超参数(3)实例化(4)进行训练4.训练过程4.1

qq_44031210的博客 4922

【漏洞复现】用友U9 UMWebService.asmx 任意文件读取漏洞

用友U9存在任意文件读取漏洞,未授权的攻击者可以通过该漏洞读取服务器任意文件,造成敏感信息泄露。

qq_67810151的博客 620

21、时间触发以太网:通信、诊断、故障隔离与参数化详解

本文详细解析了时间触发以太网(TTEthernet)的核心机制,包括团检测算法、诊断服务、故障隔离策略、配置服务以及协议参数化等内容。TTEthernet是一种专为超高可靠性系统设计的网络技术,广泛应用于航空航天、工业自动化和汽车电子等领域。文章还探讨了其未来发展趋势,如技术创新与生态建设,为开发者、企业和研究机构提供了应用与发展的方向。

efc12345678的博客 110

CloudCompare 二次开发(17)——点云添加均匀分布的随机噪声

使用CloudCompare编程实现点云添加随机噪声。

点云侠的博客 840

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

上一篇: 计算机研究生研究方向迷惑贴——大模型时代事件抽取该何去何从?
下一篇: 大模型事件抽取学习——论文学习笔记《ULTRA: Unleash LLMs’ Potential for Event Argument Extraction......》
读不懂论文的研究僧
博客等级 码龄6年 80粉丝 12原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址