1. WeDetect技术概览:开放词汇目标检测的新范式
开放词汇目标检测(Open-Vocabulary Object Detection, OVD)正在重塑计算机视觉的边界。传统目标检测模型如Faster R-CNN或YOLO系列都受限于预定义的类别集合,而现实世界需要的是能理解"穿红色格子衬衫的顾客左手拿着的星巴克限量杯"这类复杂描述的智能系统。这正是WeDetect要解决的核心问题——通过将视觉特征与语言嵌入空间对齐,实现用自然语言自由查询任意物体的能力。
WeDetect的创新性体现在三个关键设计上:
- 检索式架构 :不同于主流方法采用的两阶段检测框架,它将检测任务转化为视觉-语言匹配问题。输入图像经过视觉编码器提取特征后,与文本查询的嵌入向量进行相似度计算,直接输出匹配区域。
- 多模态联合训练 :采用三阶段渐进式训练策略,依次优化视觉编码器(Stage1)、语言建模能力(Stage2)和检测专用目标函数(Stage3)。特别值得注意的是第三阶段引入的Sigmoid Focal Loss,能有效解决开放词汇场景中极端类别不平衡问题。
- 硬负样本挖掘 :对每张训练图像,自动选择模型最容易混淆的3个负类别作为对抗样本。如表7所示,这一机制使COCO数据集上的AP提升达7.2个百分点。
技术细节:硬负样本选取基于WeDetect-Base-Uni模型对负类别的预测置信度top3,这些样本在特征空间与正样本高度接近,迫使模型学习更精细的判别特征。
2. 核心架构与训练策略解析
2.1 模型组件设计
WeDetect采用双分支架构,包含视觉编码器和文本编码器:
- 视觉分支 :基于ConvNeXt-Large构建,输入分辨率动态调整(900×900到1600×1600之间32的倍数)。特别设计的多尺度特
367



被折叠的 条评论
为什么被折叠?



