做目标检测这些年,我一直有个强烈的感受:传统检测器越做越复杂,但天花板也越来越明显。无论是YOLOv8这类单阶段模型,还是RT-DETR、DINO这类基于Transformer的方案,训练完成后类别就焊死了,推理时想加一个新类,基本得重新标注、重新训练,或者折腾蒸馏迁移,成本高得劝退。最近我花了不少时间研究WeDetect这套基于视觉-语言检索的目标检测范式,它的思路是把检测从"闭集分类"彻底变成一个"开放词汇的图文匹配"问题。这个转变带来的灵活性,传统检测器给不了。这篇文章我把对这套范式的理解、架构拆解、复现要点和踩过的坑一次讲清楚,希望能帮你少走弯路。
这套范式解决的不只是"多认几个类"的问题,它把目标检测从"模型学死的类别标签"变成"模型理解自然语言描述"的开放任务。只要你能用文字描述一个物体,理论上就能让模型在图像里找到它,哪怕这个类别训练时根本没出现过。对做数据标注、做边缘场景落地、做自定义识别需求的团队来说,这个特性非常有吸引力。适合正在调研多模态检测、开放词汇检测,或者被固定类别检测器折磨过的算法工程师和研究者参考。
1. 为什么还需要一个"新范式"
1.1 传统目标检测器的三大天花板
传统目标检测发展到现在,从R-CNN到YOLO到DETR系,已经从两阶段、单阶段、无锚框一路演进了很多轮。但有一个核心逻辑从来没变过:模型输出的类别维度是预先定死的。训练集有80类,模型最后就是一个80维的分类头;想识别第81类,必须重新收集数据重新训练。这在工业项目里非常难受。
第一个天花板是类别集合的封闭性。我在实际落地中遇到过很多次:工厂客户今天要检测螺丝缺陷,明天要加一个垫片类别,后天又要区分划痕类型。每次加类别都要重新准备几百上千张样本,重新训练模型,重新验证mAP,整个流程走完至少一周。更麻烦的是,有些目标其实并不缺数据,缺的是快速响应的能力。
第二个天花板是标注成本。目标检测要的是"框+类别"的监督信号,画边界框是所有视觉标注里最耗时的一种。一张复杂场景图,精细标注可能要花几十秒甚至几分钟。一个ToB项目动辄几万张训练图,光是标注费用就可能是模型训练费用的数倍。如果能用图文对数据或者纯文本描述来做弱监督训练,成本会降低一个量级。
第三个天花板是感知的粒度。传统检测器的分类头学到的类别表征是一个离散标签,标签本身不带语义。模型本质上是在做"这个区域更像哪一堆像素均值",而不是"这个区域包含什么语义概念"。当目标外观变化大、背景干扰强、或者类别边界模糊时,离散标签的表达力明显不足。一个"猫"标签无法告诉模型"毛茸茸的、有耳朵的、会动的宠物"这些属性特征。
1.2 视觉-语言检索的想法从哪来
视觉-语言检索并不是一个全新的概念。早在2013年左右,就有学者尝试做图文匹配,但当时受限于模型规模和训练数据,效果一直不理想。真正的转折点是CLIP这类基于对比学习的双塔模型出现。
CLIP的思路说起来很简单:把图像和文本分别编码成向量,然后拉近匹配图文对的距离,推远不匹配图文对的距离。训练数据直接从互联网上抓取的图文对,不需要任何人工标注。训练完成后,图像编码器把图片变成向量,文本编码器把一句话变成向量,两个向量在同一个空间里可以算相似度。这个空间就是"语义对齐空间"。
这套思路对检测最大的启示是:图像编码器输出的特征并不只是给分类用的,它可以和任意文本描述进行相似度计算。那是不是可以把这个能力延伸到"图像的局部区域"?如果能对图像的任意区域提取特征,让它和任意文本做匹配,检测问题就变成了一个检索问题:给定一个文本查询,把图像中所有可能区域检索一遍,相似度高的就是目标区域。WeDetect走的正是这个路线。
这里还要提一下多模态预训练模型起的作用。现在做视觉-语言检索,基本离不开CLIP或者它的改进版(SigLIP、EVA-CLIP等)做底座。这些模型已经在一个非常大的图文对集合上对齐过图像和文本,底层的视觉特征本身携带了丰富的语义信息。我们做检测任务时,并不需要从零开始学"什么是物体"这个知识,而只需要教模型"怎么把区域特征的语义准确找出来",这个起点比传统检测器高很多。
1.3 WeDetect到底改变了什么
WeDetect真正改变的是问题的定义方式。传统检测器定义的是:输入图像,输出固定集合上的类别和边界框。WeDetect定义的是:输入图像和一个任意文本查询,输出该文本对应的目标边界框。类别集合从"训练时写死"变成了"推理时才提供",这个变化是本质性的。
用检索的视角看检测,有几个连锁优势。第一,开放词汇能力天然具备。训练时见过的类别越多,模型对视觉-语言对齐的理解就越通用,推理时哪怕遇到没见过的类别,只要文本能描述清楚,模型就能尝试检测。第二,灵活性大幅提升。一个模型可以同时应对多种完全不同的检测需求,通过切换文本提示词实现,不需要为每个任务保留一个独立模型。第三,细粒度感知能力增强。文本描述可以是"一只白色的小狗",也可以是"身穿红
239



被折叠的 条评论
为什么被折叠?



