做图像标注这活儿,最折磨人的从来不是模型训练本身,而是前期那几千张图一张张框、一笔笔涂的过程。我最近在做一个工业质检的小项目,手头攒了大概四千多张现场采集的图片,如果纯手工用标注工具去画框,按熟手一张图平均四十秒算,光标注就得花掉将近五十个小时,这还没算上标注一致性带来的返工。所以这次我换了个思路,用 YOLO 先做一轮粗筛,把高置信度的检测结果直接转成标注文件,再用 SAM 对边缘做精细化分割,把框升级成掩码,最后人工只负责审核和修正那些低置信度的样本。整套流程跑下来,标注效率大概提升了四到五倍,而且因为 YOLO 和 SAM 的输出是确定性的,标注风格反而比多人协作更统一。
这套方案适合谁呢?如果你手头有几百到上万张待标注的图片,任务同时涉及目标检测和实例分割,又不想在标注上烧掉太多时间,那这套 YOLO + SAM 的组合拳值得一试。它不要求你从零训练一个大模型,更多是站在预训练模型的肩膀上做工程化拼接。下面我把整个实战过程拆开讲,包括每一步为什么这么设计、参数怎么定、以及我踩过的那些坑。
1. 为什么是 YOLO 加 SAM 而不是单用一个
1.1 两个模型各自的能力边界
先把这两个模型的分工说清楚,不然后面参数调起来会没有方向感。YOLO 系列本质上是 单阶段目标检测器 ,它的强项是"快"和"知道哪里有东西"。输入一张图,它输出一堆边界框,每个框带一个类别标签和一个置信度分数。它的短板在于框的精度——YOLO 给出的框是轴对齐的矩形,对于倾斜的、形状不规则的目标,框里会混进大量背景像素。你拿这种框去训练分割模型,边缘质量会很差。
SAM 则是 分割一切模型 ,它的核心能力是"给定一个提示,把对应区域的精确轮廓抠出来"。这个提示可以是点、框、或者粗略的掩码。SAM 不负责识别类别,它只负责分割。所以如果你直接把 SAM 用在整张图上做无提示的全自动分割,会得到一堆没有语义的碎片区域,你还得自己去判断哪块是目标、哪块是背景,反而更累。
把两者串起来逻辑就顺了: YOLO 负责"定位 + 分类",SAM 负责"精修轮廓" 。YOLO 输出的框作为 SAM 的提示输入,SAM 在这个框的范围内把目标的精确掩码算出来。这样既有了类别信息,又有了像素级的分割质量。
1.2 自动标注流水线的整体数据流
整个流水线的数据流我画不画图都行,用文字描述更清楚。原始图片先过 YOLO 推理,得到一组检测结果,每个结果包含类别、置信度、边界框坐标。然后做一次置信度过滤,高置信度的直接进入 SAM 精修环节,低置信度的单独存到一个待人工审核的队列里。SAM 拿到框提示后输出掩码,再把掩码转成多边形或者直接存成二值图,最后统一转成你训练框架需要的标注格式。
这里有个关键决策点: 置信度阈值定多少 。定太高,比如 0.8,那大部分图都得进人工队列,自动化就失去意义了;定太低,比如 0.3,那错误标注会大量混入,后期审核成本反而更高。我的经验是先跑一批样本,统计一下置信度分布,找一个能覆盖大概 70% 到 80% 样本的阈值,剩下的交给人工。这个阈值不是拍脑袋定的,后面我会讲怎么用数据来选。
1.3 这套组合拳的适用边界
不是所有标注任务都适合这套方案。如果你的目标类别在 YOLO 的预训练类别里根本没有,比如你要标注某种特定的工业零件,那 YOLO 直接推理出来的结果可能全是错的,这时候你得先用自己的数据微调一个 YOLO,或者干脆换用开放词汇的检测方案。另外,如果你的目标特别小、特别密集,YOLO 的召回率会下降,漏检的部分 SAM 也救不回来,因为 SAM 需要框作为提示。
还有一个容易被忽略的点: SAM 对提示框的敏感度 。如果 YOLO 给的框偏得比较厉害,SAM 可能会把旁边的背景也分割进来,或者只分割出目标的一部分。所以框的质量直接决定了掩码的质量,这也是为什么我建议在 SAM 之前先对 YOLO 的框做一次非极大值抑制和尺寸过滤。
2. 环境搭建与模型选型的那些细节
2.1 YOLO 版本怎么选
现在 YOLO 的版本迭代很快,从 v5 到 v8 再到后来的 v9、v10,甚至社区里还有各
252



被折叠的 条评论
为什么被折叠?



