Say Less, Hallucinate Less?大模型偏好优化中的“沉默”代价与修复方案

纯前端实现的正则表达式测试器与解释器技术实现 本文介绍了一款纯前端、无需登录的正则表达式测试与解释工具——Toolion正则测试器。该工具基于原生JavaScript实现,支持实时匹配高亮、捕获组查看、零宽匹配可视化及正则语法逐项解释,所有操作在浏览器本地完成,保障数据安全。具备防抖更新、深色主题、错误提示等实用功能,适用于开发者快速调试与学习正则表达式。 阅读详情

🌊 专注 AI 大模型与前沿科技深度解析,习惯从工程师视角拆解技术热点,让我们一起在技术浪潮中保持清醒与好奇 🚀


Say Less, Hallucinate Less?大模型偏好优化中的“沉默”代价与修复方案

在当前的多模态大模型(LVLM)工程实践中,降低物体幻觉是绕不开的硬核挑战。业界主流的解法是偏好优化,比如通过 RLHF 或 DPO 让模型学会“少犯错”。但我们在实际复现如 LLaVA 等主流架构的 PO 检查点时,发现了一个容易被掩盖的工程陷阱:模型确实不怎么胡说八道了,但它也变得不爱说话了。

Abstract conceptual illustration of a multimodal v

这种现象在业务场景里极其致命。假设你正在开发一个面向视障人群的图像辅助描述系统,如果模型为了不报错而只说“图中有一个人”,虽然准确率 100%,但完全丧失了实用性。不解决这个问题的代价就是:在 CHAIR 等标准评测集上,PO 模型的幻觉率数据虽然好看,但在集合级别的 F1 分数上却毫无建树,甚至出现了严重的召回率下跌。

背景与痛点:被“早停”伪装的幻觉抑制

在真实的数据标注与模型对齐项目中,我们观察到四个公开的 LLaVA-1.5-7B PO 检查点(涉及 RLAIF-V、CHAIR-DPO 等)存在一种系统性的退化:它们命名物体类别的数量大幅减少。

深入诊断其解码过程,我们发现 PO 带来的幻觉减少,很大一部分并非因为模型真正学会了视觉特征的精细对齐,而是因为它学会了提前触发序列结束符(EOS)。这就好比一个学生在考试时,为了避免写错被扣分,干脆只写自己百分之百确定的答案,其他全空着。

这种“战术性沉默”带来了一种数据假象。如果你只看幻觉率指标,模型似乎进步了;但如果你看 Set-level Object F1,你会发现模型漏掉了大量真实存在的物体。我们在解决的核心问题就是:如何剥离这种由 EOS logit 偏置带来的虚假繁荣,把模型真正丢失的物体覆盖率找回来?

方案设计:解码干预与免训练修复

面对召回率下降,直觉上的备选方案有两个:

  1. 继续在更多样化的数据上做 PO 训练:成本高,且容易陷入“按下葫芦浮起瓢”的对齐税困境。
  2. 在解码端强制拉长输出(Negative EOS Bias):通过惩罚 EOS 的生成概率,逼迫模型多说点。

但在工程实测中,方案2完全失效。在贪婪解码下,即使我们给 EOS 施加负向偏置,逼迫 PO 模型继续生成,它恢复的召回率也仅有 2% 到 9%。更糟糕的是,新增的物体描述中有 94% 到 96% 是在重复已经说过的类别。这说明 PO 过程破坏了模型探索新视觉概念的分布,“多说”并不等于“说对的”。

因此,我们放弃了在 PO 模型自身上做文章的思路,转而采用基础模型引导的物体类别恢复方案。

方案选择实施成本召回恢复效果幻觉率控制适用边界
持续 PO 训练高(需标注偏好数据)未知,易过拟合可能反弹预算充足的工业级精调
负向 EOS 偏置极低(改解码参数)极差(2-9%)严重恶化(重复生成)绝对不推荐
基础模型引导恢复低(免训练推理)极高(逼近基座)低于基座模型算力受限、需快速见效的工程落地

这套方案的核心思想是:既然 PO 模型负责“不说错”,那我们就让基础模型负责“找全了”,最后做一次无训练的融合。

核心实现:Base-Guided Object-Category Restoration

整个修复方案的实现不需要改动任何模型权重,完全在推理管线中完成。对于在校学生或转行者来说,这是一个非常适合写进作品集的轻量级工程优化能力:证明你不仅会跑模型,还能通过解码策略和置信度控制来修补大模型的输出缺陷。

1. EOS Logit 偏置控制

首先,我们需要量化基础模型到底因为“早停”丢了多少东西。通过给基础模型施加正向的 EOS logit 偏置,我们可以人为控制它的“早停”程度。

import torch

def controlled_eos_stopping(logits, eos_token_id, bias_value):
    """
    通过调整 EOS 的 logit 来控制基础模型的早停行为。
    bias_value > 0: 鼓励早停 (模拟 PO 模型的保守倾向)
    bias_value < 0: 惩罚早停 (逼迫模型生成更多内容)
    """
    # logits shape: [batch_size, vocab_size]
    logits[:, eos_token_id] += bias_value
    return logits

通过绘制这条“召回率控制的早停曲线”,我们发现仅靠调整基础模型的 EOS 偏置,就能在两个不相交的 COCO 数据集上重现三个 PO 检查点中 58% 到 86% 的 CHAIRi 收益。这直接证明了 PO 的很大一部分收益仅仅是“少说话”带来的。

2. 基础模型高置信类别提取

接下来是方案的核心:我们让基础模型(未经过 PO 的原模型)对同一张图片生成描述,并从中提取出 PO 模型遗漏的物体类别。

为了避免引入新的幻觉,我们不是盲目提取,而是设置了一个置信度阈值。只有当基础模型在生成某个遗漏类别时,其对应的视觉-语言对齐置信度高于设定阈值时,才将其列入候选池。

3. 免训练的类别追加策略

最后一步是将候选池中的类别安全地附加到 PO 模型的描述后面。

def restore_missing_categories(po_caption, base_caption, po_objects, 
                               base_objects, confidence_scores, threshold=0.85):
    """
    将基础模型高置信且 PO 模型遗漏的物体追加到 PO 描述中。
    """
    # 找出 PO 模型漏掉,但基础模型看到的物体
    missed_in_po = set(base_objects) - set(po_objects)
    
    high_conf_missed = [
        obj for obj in missed_in_po 
        if confidence_scores.get(obj, 0) > threshold
    ]
    
    if not high_conf_missed:
        return po_caption
    
    # 使用自然语言模板追加,避免破坏 PO 模型的原有句法结构
    restoration_text = " Also, " + ", ".join(high_conf_missed) + " are present."
    
    return po_caption + restoration_text

这段代码虽然简短,但在面试中经常会被追问一个点:为什么阈值要在开发集上固定,而不是动态调整? 因为如果动态调整,很容易过拟合到评测集的分布上,失去泛化能力。固定阈值体现了工程上的鲁棒性取舍。

效果验证:数据与可复现性

这套方案的效果非常直观。我们在留出的 COCO 验证集上测试发现,通过基础模型引导恢复,三个检查点的召回率被拉回到了与基础模型仅差不到 1 个点的水平。

更关键的是,它的去重物体幻觉率甚至低于基础模型本身。这很好理解:PO 模型提供了一个极其干净的“底座描述”(虽然短),而我们追加的内容是经过基础模型高置信度筛选的,两者的叠加达到了一种奇妙的平衡——既保留了 PO 带来的低幻觉特性,又夺回了基础模型的高召回。

在对比实验中,面对通过早停曲线匹配召回率的基础模型,我们的方案在 RLAIF-V(靠近基础模型召回率处)以及 RLAIF-V 和 CHAIR-DPO(中等召回率处)均保持了稳定的增益。这意味着该方案在不同的对齐强度下都有普适的修复能力。

边界与演进:没有银弹的工程权衡

虽然这套方案免训练、见效快,但它有明确的适用边界。

局限性:
首先,它强依赖一个高质量的“基础模型”。如果你的基座模型本身在某个垂直领域(如医学影像)召回率就很低,这种引导恢复就无源之水。其次,通过自然语言模板追加类别(如 “Also, … are present”),在句法连贯性上不如端到端生成的自然。在追求极度文学性描述的文案生成场景中,这种拼接会显得生硬。

下一步演进:
对于工业级落地,下一步的优化方向是将这种“基础模型引导”的思路内化为一种 Reward Shaping 机制。在未来的 PO 训练中,不仅惩罚幻觉的生成,还要对“遗漏高置信物体”的行为给予负向奖励。这样有望在模型权重层面直接解决“战术性沉默”,而不是在推理端打补丁。

对于正在做相关课题或准备面试的同学,理解这套机制的价值在于:它展示了如何通过**解剖模型输出分布(EOS 偏置与重复生成率)**来定位对齐税的根源,并用极低的工程成本完成修补。这比单纯调参跑分数,更能体现对大模型底层机制的深刻洞察。

计算三维空间中AOA定位的 CRLB(Cramér–Rao 下界,克拉美罗下界)公式与MATLAB例程 摘要:本文介绍了三维空间中基于AOA(到达角度)测量的目标定位CRLB(Cramér–Rao下界)计算方法。通过定义目标位置向量、传感器位置和AOA测量角度(方位角与俯仰角),推导了方向向量和雅可比矩阵的表达式,并构建Fisher信息矩阵计算CRLB。提供了MATLAB例程实现该算法,包括参数设置、CRLB计算和可视化(3σ误差椭球)。实验结果表明,当目标位置偏离传感器阵列时,定位误差显著增大。该方法适用于评估AOA定位系统的理论性能极限,为导航与定位算法设计提供参考。 阅读详情

相关推荐

CST-Python(Pycharm如何与CST联合仿真,获取S参数)

我们想使用Python与CST联合仿真,其实是不需要自己下载Python的,因为CST在下载的时候就自带了Python3.6,我们只需要找到并将软件的环境设置到相应位置,即可联合仿真。(我的保存路径为D:\Program Files (x86)\CST Studio Suite 2020,在寻找时可以将前面切换成自己的保存路径,后面不需要修改)在CST帮助文档(打开CST软件,按F11即可直接访问帮助文档)里面,进行如下操作,便可以看到CST适配的Python版本为Python3.6!

weixin_52696285的博客 5657

Linux 怎么查看文件内容?cat、less、head、tail 怎么选

本文指导如何根据文件特点选择合适的Linux查看工具:短文本用cat,长文本分页用less,仅需开头用head,关注结尾或实时日志用tail。通过创建独立练习目录与模拟文件,实操cat、less、head、tail的常用命令,掌握行号显示、空格与Tab识别、分页翻阅、搜索定位及持续监控等技巧,提升文件查看效率与准确性。

momodfg123的博客 759

L2-011 玩转二叉树

L2-011玩转二叉树(25分) 给定一棵二叉树的中序遍历和前序遍历,请你先将树做个镜面反转,再输出反转后的层序遍历的序列。所谓镜面反转,是指将所有非叶结点的左右孩子对换。这里假设键值都是互不相等的正整数。 输入格式: 输入第一行给出一个正整数N(≤30),是二叉树中结点的个数。第二行给出其中序遍历序列。第三行给出其前序遍历序列。数字间以空格分隔。 输出格式: ...

Beworth1207的博客 1735

边缘计算实战:在无外网环境下,如何实现本地 Web 大屏渲染与实时联动?

工业现场断网,大屏瞬间变黑砖?传统拉HDMI线成本高、易受干扰。本文分享一种“去中心化”落地方案:将轻量级Web服务直接下沉至边缘计算网关。详解HTTP分发与原生Socket广播核心代码,手把手教你用极低资源消耗,实现复杂场景下的断网本地自治与实时渲染。

qq_42364035的博客 332

足球大数据分析入门:从赔率到预测的完整流程(附数据集)

本文提供了一份足球大数据分析的完整实战指南,涵盖从数据采集、清洗、特征工程到模型构建与评估的全流程。文章详细介绍了如何利用公开数据集与API获取数据,并通过逻辑回归、随机森林等模型进行比赛结果预测,最后强调了模型评估与策略回测的重要性,帮助读者构建自己的分析框架。

r7s8t的博客 420

数字信号的艺术演绎:用FPGA+DAC实现音乐合成器的核心原理

本文深入探讨了如何利用FPGA和DAC技术实现数字音乐合成器的核心原理,涵盖DDS架构、多波形合成、MIDI协议解析及动态包络控制等关键技术。通过详细的Verilog代码示例和硬件实现方案,展示了数字信号处理在音乐合成中的艺术演绎,为电子音乐创作提供了强大的硬件支持。

weixin_28256233的博客 391

DeepSeek 把官方聊天前端开源了,零后端纯静态还兼容 Anthropic API

最近想给手头的 agent 工作流配一个能自己改的对话界面,DeepSeek 官方这次直接把自家 App 的壳开源了,协议细节全是现成答案。本周 Top5:astryx(+13,501)、sherlock(+10,412)、skills(+6,077)、OpenMausBot(+5,463)、elephant-goldfish-model(+5,060)。

Kaiji1126的博客 420

UE4-(反射)场景采集之场景采集2D

一、场景采集分为两种:场景采集2D、场景采集立方体 场景采集2D:采集2D图片模式。 操作: 1.选择场景采集2D,是一个摄像机的物体,摆放到场景中。 2.在文件夹空白处创建纹理,一定要注意创建纹理的格式, 纹理分为立方体渲染目标和渲染目标,此处我们使用的是2D模式,所以选择渲染目标(Texture Render Target2D)。创建后重命名为RenderTextue2D。 3.选择场景中刚拖入的 SceneCapture2D 摄像机在细节面板的Scene Capture 将..

Stone的博客 4602

Geejing WebBuilder Excel 模板填报使用指南:企业级快速开发平台从画表格到在线填表与导出

把现成的 Excel 文件直接变成在线表单:详解占位符语法、getExcelHtml 渲染链路、bindComps 组件绑定、getExcelFile 导出下载、多行报表填充与 Word 模板同构写法,基于 excel-form / excel-report 官方示例与 ExcelForm 字节码实读,附常见问题与上线检查清单。

m0_60539919的博客 192

【数据清洗】数据清洗流程及经验

预处理阶段 预处理阶段主要做两件事情: 一是将数据导入处理工具。 二是看数据。包含两个部分:一是看元数据,包括字段解释、数据来源、代码表等等一切描述数据的信息;二是抽取一部分数据,对数据本身有一个直观的了解,并且初步发现一些问题,为之后的处理做准备。 第一步:缺失值清洗 四个步骤: 1、确定缺失值范围:对每个字段都计算其缺失值比例,然后按照缺失比例和字段重要性,分别制定策略。 2、去除不需要的...

JoJo93723的博客 6503

基于matlab的轴承损伤分析动力学建模仿真

高质量的轴承在正确的使用下,可以使用很长一段时间,如果过早的出现损伤,很可能是因为选型错误,使用不当或润滑不良造成的。因此,在安装轴承时,我们需要记录机器种类,安装部位,使用条件及周围配合。通过研究总结轴承损伤的类型,发生问题时的使用环境,以避免类似情况再次发生。轴承损伤方式按下述图片分类,我们可以图片中显示的主要特征来判断轴承损伤形式。01、压痕碰伤卡入固体异物或冲击造成的表面凹坑及安装是的擦伤◆固体异物侵入◆在倾斜状态下安装◆安装不良造成的撞击,脱落◆卡入剥离片◆改善安装、使用方法。

平时工作较为繁忙,私信消息一般晚上回复,谢谢大家~~ 2668

前端表单如何防止重复提交

从提交状态到幂等键梳理表单防重和超时重试的做法

m0_73417242的博客 152

Autosar软件组件分析及ARXML文件分析

Autosar软件组件分析及ARXML文件分析

专注汽车软件开发、AutoSAR、车载以太网、SOA、EE架构。 3607

WebGL 指纹怎么读:渲染器、扩展与参数的三层差异

在浏览器指纹里,WebGL 的地位比较特殊。Canvas 告诉你"这台机器画出来的像素是什么样",WebGL 告诉你"这台机器有什么样的图形能力"。后者更接近硬件的真实情况,也更难伪装。很多人对 WebGL 的理解停留在"读一个 GPU 型号字符串",实际上它至少有三层信息,而且三层的可靠性差别很大。

Sherryma66的博客 162

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

html+css基础:32、BFC(父子元素防止 margin 塌陷,父子元素清除浮动,兄弟元素两栏布局)

本文通过两个演示,详解BFC(块级格式化上下文)在解决布局问题中的应用。演示1展示如何通过float、position、display: flow-root等属性使父元素形成BFC,防止子元素margin塌陷;演示2说明子元素通过创建BFC可清除浮动影响,避免布局错乱。BFC作为独立渲染区域,能有效隔离内外部样式干扰,是解决浮动、重叠、塌陷等问题的重要机制,推荐使用display: flow-root或overflow: hidden实现。

狮子座的男孩 550

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

算法:全景梳理前端项目开发中常用算法合集

本文系统梳理前端高频算法场景,按业务分类汇总10类核心算法:基础查找(哈希、二分)、排序(Timsort、归并)、树结构(DFS/BFS、LCA)、滑动窗口、字符串匹配(正则为主)、节流防抖、虚拟滚动、图算法(Dijkstra、A*)、随机哈希及贪心动态规划。强调前端算法重点在于性能优化与交互流畅,非单纯追求复杂度,推荐优先使用内置方法与成熟库,关键掌握哈希查找、防抖节流、LRU缓存、区间合并、虚拟滚动等必会技能,确保页面不卡顿、响应快。

snow的博客 642

png去水印-纯前端技术

(修复算法)、(交互与渲染)、(构建)。仅依赖vue),图片不上传服务器,全部计算在浏览器内用 CanvasImageData完成。

琼楼玉宇 371

LangGraph 长期记忆完全指南:从自动存储到百万级数据查询的最优方案

本文详解LangGraph Checkpoint机制,手把手教你实现会话记忆:通过SQLite存储对话状态快照,仅需传入checkpointer和thread_id即可自动持久化历史。核心原理是每轮对话生成快照(msgpack序列化),支持跨会话恢复。结合conversations元信息表,可高效构建类似ChatGPT的会话列表,避免频繁查询大体积快照,实现百万级数据下的低延迟查询与管理。

xiao1215fei的专栏 379

基于 YOLOv8 与 CRNN 的车牌识别 Web 系统

两个模型通过裁剪区域衔接:检测侧只判断"是不是车牌、在哪里",识别侧只负责"框里的字符是什么",任何一段换模型都不影响另一段。这种拆分让定位精度与字符识别能力可以分别迭代,也让训练数据各取所需——检测用标注框,识别用文件名编码出的号牌真值。

Michael_Jay的博客 377

SSD测试工程精通系列 17|TRIM与UNMAP洪峰下的GC竞争(命令风暴与后台任务调度)

本文深入探讨NVMe SSD在面临TRIM/UNMAP命令洪峰时,后台垃圾回收(GC)与前端IO的竞争机制。从协议解析、固件调度、硬件架构到物理层信号,全面剖析命令风暴对QoS和WAF的影响。结合Samsung、Micron、Kioxia等厂商实测数据与失效案例,提供从测试注入、仪器抓取到工程取舍的全链路验证方案,助力资深测试工程师攻克存储性能断崖难题。

专注分享DPU、RDMA智能网卡/SSD(固态硬盘)产品测试与优化 474

gpt-6.2-sol新上线真实测试

GPT-6.2Sol是2026年11月发布的主力模型,定位“日常编程与规模化Agent调度”,在真实代码合并任务中表现接近旗舰Astra(43.8% vs 44.2%),但成本仅为后者的1/5。其百万级上下文、五档推理强度与低成本缓存机制显著提升性价比。然而,出字速度仅约40tokens/s,前端表达与安全等级(Critical)为短板。报告建议:日常编码、批量处理、多步Agent场景首选Sol;高难度科研或实时交互则推荐Astra。核心策略包括:优先利用缓存降本、异步处理长延迟、双模型路由优化成本。

linktokenview的博客 159

前端处理扫描版 PDF:页图缩放、JPEG 压缩与手机后台暂停

前端处理扫描 PDF 的几件事:页图缩小并转 JPEG、有文字层的页不识图、提供先生成按钮、页面不可见时暂停请求。先交代一下:文里的「我们」,指我在做的学习工具「求瑕」(把资料生成思维导图,每个节点翻面是一张记忆卡)这个项目;下面说的都是做它的时候遇到的事。

weixin_38235131的博客 167

【工业内窥镜硬件指南】管道摄像头防滑泡沫球与助推器机械原理及全管径选型规范

在工业与市政管道视觉检测中,90%以上的图像劣化与卡阻问题源于忽视防滑泡沫球和助推器等前端辅件。探头“裸奔”下井会导致贴底盲区、镜片磨损及接口卡死。防滑泡沫球可弹性越弯、防滑缓冲,助推器则实现镜头居中、越障抬升与滚动推进。合理选配外径为管径60%-80%的配件,配合锁紧检查与“宁小勿大”原则,方能保障高清成像、延长设备寿命,真正实现“洞察秋毫”。

ulinktek的博客 343

Nocobase插件开发(在线人数统计与用户管理)

@nocobase/plugin-online-count 是一款功能完备的在线人数统计与用户管理插件,支持实时在线列表、单会话互斥登录(基于设备指纹)、强制下线、黑名单、系统广播及会话日志等企业级功能。通过网关驱动实现精准在线状态,结合自动清理机制(日志30天、广播7天),保障性能与安全。配置灵活,开箱即用,适用于需精细化用户行为管控的NocoBase项目。

技术学习、推广、商业化。 272

午休充电 | 高德官方加载器只有 1.5 KB,微软新编程模型打 5 折,还有 Kindle 十九岁生日

午休别刷手机了,花三分钟充个电。今天聊三件事:一个你明天就能用到项目里的高德官方小工具、微软刚发的新编程模型、以及一台 19 年前开卖 5 个半小时就抢光的设备。

weixin_41940856的博客 175

Chrome、Edge、Firefox、MDN 联手给 AI 编程 agent 写了本现代 web 教材

最近在给 agent 工作流配前端能力,模型写出来的页面常年停在 2015 年的手法,这个仓库正面回答了这个问题。Modern Web Guidance 官方宣传图,来自项目博客本周 Top5:astryx(+8,700)、modern-web-guidance-src(+7,015,本期主角)、skills(+4,847)、sure(+4,786)、agent-skills(+3,884)。榜单前五有三个都在干同一件事,给 agent 喂知识,这个信号比任何单个仓库都直白。

Kaiji1126的博客 219

【技术拆解】配音工具挑选方法与核心选型维度:从TTS合成链路看AI解说配音的4层工程验证

后台那个高频提问————如果换成工程视角,其实是问:给定一段解说文案和一条交付管线,哪套合成链路能把这段文字稳定地、可控地、合规地变成音频与字幕。这篇不做赛道测评(那是另一篇的内容),而是从 Neural TTS 的合成链路出发,把还原成四层可以动手验证的。

2301_79035597的博客 314
上一篇: 它是在探索,还是在背书?一张“异星考卷“如何测出 AI 的真本事
下一篇: 机器人“看不懂“人类示范?也许缺的不是数据量,而是一具完整的身体
在水芬芳
博客等级 码龄8年 68粉丝 600原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址