本篇博客介绍一篇发表在2024 ACL main上的文章:《LLMs Learn Task Heuristics from Demonstrations: A Heuristic-Driven Prompting Strategy for Document-Level Event Argument Extraction》
方向:大模型事件抽取
本篇博客为个人阅读论文的总结与笔记,在这里进行简单的分享
摘要
在本研究中,我们探索了上下文学习(ICL)在文档级事件参数提取(EAE)中的应用,以减轻该任务对大规模标记数据的依赖。我们引入了为EAE任务量身定制的启发式驱动类比链接(HD-LoA)提示。具体来说,我们假设并验证LLMs从ICL的演示中学习任务特定的启发式。在此假设的基础上,我们引入了一种显式启发式驱动的演示构建方法,该方法将随机示例选择过程转换为强调任务启发式的系统方法。此外,受人类类比推理的启发,我们提出了类比链接提示,这使得LLMs能够通过与已知情况进行类比来处理新情况,从而提高了它们在有限的ICL示例之外的未知类上的性能。实验表明,该方法在文档级EAE数据集上优于现有的提示方法和少量监督学习方法。此外,HD-LoA提示在情感分析和自然语言推理等其他任务中也显示出有效性,显示了其广泛的适应性。
一、简介
文档级事件参数提取(EAE)旨在将文档中的非结构化事件信息转换为封装事件参数的结构化格式。该任务的流行方法依赖于标记数据的收集和随后通过监督学习进行的模型训练,这种方法虽然有效,但也有一个明显的缺点:它需要大量的训练数据,考虑到文档级EAE固有的复杂性,这是特别繁重和昂贵的。
情境学习(ICL)是大型语言模型(LLMs)的一种新兴能力,为监督学习提供了一种替代方案。ICL减轻了对大规模数据的需求,因为它只使用几个示例作为提示的输入-输出对,以指导LLMs在看不见的示例上执行任务。
ICL挑战:
1)例子选择。为ICL选择最佳的上下文示例是至关重要的,然而LLMs从这些示例中学到什么仍然在很大程度上没有得到充分的探索。这一差距导致缺乏系统的指导方针,导致一个混乱和低效的例子选择过程。
2)上下文长度限制。在文档级EAE中,选择多个文档作为ICL示例可以扩展上下文长度,可能超过LLMs的令牌限制。
3)事件类型丰富。EAE任务可以涉及一百多个不同的事件类型和参数角色。然而,ICL示例只能捕获一个狭窄的子集,而忽略了大多数参数角色。在具有不同类类型的分类任务中,处理超出有限ICL示例的未见类是一个常见问题。
4)非推理任务提示策略。思维链(CoT)提示是在各种任务中广泛使用,其有效性在非推理场景中受到损害。如图1所示,将CoT应用于非推理任务会将其逐步推理降级为可能不充分的单步骤。
因此,有必要为非推理任务量身定制提示策略。

图1:对于非推理任务,CoT的分步推理退化为单步推理。比较推理任务(橙色)和非推理任务(蓝色)的推理步骤。不同的颜色表示不同的推理步骤。
左边就是一步步推理,右边给予者与捐赠简单推理&虚假推理不合逻辑。
提出启发式驱动的类比链接提示,应对上述挑战:
我们提出并实证验证了LLMs从ICL中的示例中学习任务特定启发式的假设。启发式,被定义为“推断特定任务答案的高级规则或策略”,在人类认知中起着至关重要的作用。人类使用启发式作为有效的认知途径,这通常比复杂的方法导致更准确的推断。
类似地,在监督式机器学习(ML)系统中,模型也通过训练学习特定于任务的模式。与此类似,我们假设LLMs从上下文示例的解释中学习任务特定的启发式,以帮助推理。我们定性地说明了图2中启发式是如何隐含地嵌入到上下文示例的解释中的,并通过第2节中详细的实验定量地验证了我们的假设。ICL在机制上与监督式ML有根本不同:监督式ML在训练期间学习和更新模型参数,而LLMs在所有参数冻结的情况下进行ICL。因此,对监督式机器学习系统(例如模式学习)的理解不适用于ICL。

图2:启发式隐含地嵌入在上下文示例的解释中
①giver是人或组织;主语-动词-对象的启发②比较两者进行启发;使用知识启发,已知游戏节目事实回答
提出了一种启发式驱动的示范构建方法。根据我们的假设,任务启发式对LLMs的ICL性能至关重要,但它们通常通过示例隐含地传达。这种隐含性使检验演示是否包含不同的启发式变得复杂,并导致LLMs是否认识到这些启发式的不确定性。此外,对于ICL来说,上下文示例的选择仍然是一个未被充分探索的挑战。为了解决这些问题,在人类利用显式启
2376



被折叠的 条评论
为什么被折叠?



