【文献翻译】FPCC: 用于实例分割的快速点云聚类

点云聚类算法总结---点云小白论文艰辛之路2 最近一段时间一直在忙论文,好在把论文大框架已经确定,后续就是细节上的修改以及创新。在下面的一段时间我会不定期的分享一下我论文中尝试过的各个方法的使用感。本篇重点介绍一下点云的聚类方法,我尝试了DBSCAN 聚类、区域增长聚类以及K-means聚类这三类聚类方法,下面依次进行总结。 1.DBSCAN---以点的密度大小进行聚类 1.1基本概念: 初始设定两个值:minPts以及半径r 核心对象:若一个点的r邻域内点的个数大于等于minPts,我们就称该点为一个核心对象 直接密度可达:若某点p在核心 阅读详情

摘要

识别大量相同类别的被遮挡物体是一个非常具有挑战性的问题。在一个常见的拣箱子场景中,许多相同的物体堆叠在一起,并且这些物体的模型是已知的。因此,可以忽略语义信息;相反,拣箱子的重点放在实例的分割上。基于这一任务需求,我们提出了一种快速点云聚类(FPCC)算法用于拣箱场景的实例分割。FPCC包括一个名为 FPCC-Net 的网络和一种快速聚类算法。FPCC-Net 有两个子网,一个用于推断聚类的几何中心,另一个用于描述每个点的特征。FPCC-Net提取每个点的特征,同时推断每个实例的几何中心点。然后,提出的聚类算法将剩余的点聚类到特征嵌入空间中最近的几何中心。
代码: ttps://github.com/xyjbaal/FPCC

引言

由于三维测量技术的进步,三维点云的获取不再困难,如被动立体视觉、相移法、灰度编码等方法。因此,高效、有效地处理三维点云成为一个新的挑战。在现实应用中,三维点云分割通常需要作为预处理步骤。三维点云分割有助于自动驾驶、人-机器人交互、机器人拣箱、姿态估计、视觉伺服和各种类型的三维点云处理。在机器人领域,捡箱的场景在过去的十年里受到了很大的关注。在这个场景中,大量相同类别的物体被堆叠在一起。因此,这类场景对快速实用的三维点云实例分割提出了很高的要求。
目前,卷积神经网络在三维点云实例分割中的应用还远远落后于实际应用。技术关键点概括如下:1)卷积核更适合处理结构化信息,而原始三维点云是非结构化、无序的;2)高质量、大规模图像数据集的可用性推动了深度学习在二维图像上的应用,但三维点云数据集较少;3)基于cnn的三维点云实例分割耗时较长。
对于关键点1),PointNet[31]被提出作为第一个适合处理非结构化、无序的三维点云的框架。PointNet没有将3D点云数据转换为3D体素网格(如[32,33]),而是使用多层感知(multi-layer perceptions, MLPs)来学习每个点的特征,并采用max-pooling来获取全局信息。PointNet的开创性工作促进了进一步的研究,一些研究人员引入了PointNet的结构作为他们的网络的骨干[34,35,36]。众所周知,PointNet独立处理每个点,这导致学习较少的局部信息[34,37]。为了能够学习三维点云的局部信息,[38,39,37,40,41]中提出的方法通过探索相邻点来提高网络感知局部信息的能力。
对于关键点2),一些著名的3D点云数据集包括室内场景数据集如S3DIS[42]和SceneNN[43],驾驶场景数据集如KITTI数据集[44]和apolo - southbay数据集[45],以及单一对象识别数据集如ShapeNet数据集[33]。对于机器人拣箱来说,提供各种工业对象的通用训练数据集是一项艰巨而艰巨的工作,目前还没有这样的数据集。通过仿真综合训练数据为缓解训练数据集的缺乏提供了一种可行的方法[46,47,48,49,50,51]。
对于关键点3),CNNs在3D点云上分割实例耗时的原因如下:实例分割定位不同的实例,即使它们属于同一类。由于场景中的实例是无序的,并且实例的数量是不可预测的,所以不可能用一个固定张量来表示实例标签。因此,实例分割的研究主要包括两种方法:一种是需要对象检测模块的基于提议的方法,另一种是不需要对象检测模块的不基于提议的方法。Mask R-CNN[52]属于第一种方法。Mask R-CNN将实例分割问题分解为单个对象的目标检测和像素级分割。基于建议的方法需要复杂的后处理步骤来处理许多建议区域,并且在强遮挡情况下性能较差。对于三维点云的实例分割,大多数研究者采用的是proposal-free方法。proposal-free方法通常先进行语义分割,然后通过聚类或度量学习来区分不同的实例,这是一个耗时的过程[35,36,53,48]。
本文旨在设计并提出一种由FPCC-Net组成的快速点云聚类实例分割方法FPCC,以及一种基于FPCC-Net输出的快速聚类算法。FPCC-Net是一种图卷积神经网络,它可以在实例级有效地分割三维点云,无需任何人工标注数据的训练。FPCC-Net涉及到将所有点映射到一个判别特征嵌入空间,它满足以下两个条件:1)同一实例的点具有相似的特征,2)不同实例的点在特征嵌入空间中广泛分离。同时,FPCC-Net为每个实例寻找中心点,并将中心点作为聚类过程的参考点。然后基于中心点进行快速聚类。
本工作的主要贡献如下:

  • 提出了一种三维点云的高速实例分割方案。
  • 该方案由一种新的三维点云网络FPCC-Net和一种新的中心点聚类算法组成。
  • 为了提高FPCC-Net的性能,在损失函数中引入了手工注意机制,并在消融研究中验证了其有效性。
  • 实验表明,与现有的方法相比,采用合成数据训练的FPCC-Net对真实数据具有良好的性能。
  • 我们为未在XA Bin-Picking数据集[48]中标记的部件注释实例信息。完整的数据集可以在网址://github.com/ xyjbaal/FPCC上找到。
    本文的其余部分组织如下。第二部分讨论了图像和三维点云实例分割的研究进展。第三部分介绍了FPCC-Net的结构和原理。第4节提供了实验分析。最后,第五部分对全文进行总结。

在本文中我们使用以下符号。实数集用 R\mathbb RR,点 iii 的坐标表示为 pi=(xi,yi,zi)∈R3p_i=(x_i,y_i,z_i) \in \mathbb R^3pi​=(xi​,yi​,zi​)∈R3,包含了 NNN 个点的点云为 P={ p1,p2,p3,...,pN}\mathbb P=\{p_1,p_2,p_3,...,p_N\}P={ p1​,p2​,p3​,...,pN​},距离函数表示为 d(a,b)=∥a−b∥2d(a,b)=\lVert a-b\rVert _2d(a,b)=∥a−b∥2​。其中 d(a,b)d(a,b)d(a,b) 表示 a,b∈Rna,b \in \mathbb R^na,b∈Rn 之间的欧氏距离,对于一个矩阵 A∈Rn×mA \in \mathbb R^{n \times m}A∈Rn×m,A的第 (i,j)(i,j)(i,j) 个元素表示为 a(i,j)a_{(i,j)}a(i,j)​。

相关工作

随着cnn的出现,从图像和三维点云中提取特征的方法已经从手工设计转变为自动学习[54,55,56]。实例分割是计算机视觉领域中最基本的任务之一,备受关注。在二维(2D)图像上的分割几乎已经得到了充分的发展[57,58],但三维点云分割仍然不发达。

二维实例分割

K. He等人在[52]中提出了用于对象实例分割的掩码R-CNN,它在几乎所有之前的许多实例分割任务的基准测试中都表现出了良好的性能。Mask R-CNN有效地检测图像中的目标,以较低的计算成本为每个实例生成高质量的分割掩码。b . d . Brabandereetal。[59]提出在特征空间中映射每个像素。它们的聚类算法在处理复杂遮挡时具有一定的优势。TensorMask[60]采用密集滑动窗口实现接近Mask RCNN的结果。PolarMask[61]是一种无需锚的方法,它在准确性和速度之间做出了很好的权衡。这些方法虽然基于大量高质量、人工标注的数据集[28,62]取得了很大的成就,但在实际应用中仍存在不足。在工业拣货场景中,常常难以获得带标签的数据集。
为了克服制作数据集的困难,提出了SD Mask R-CNN[51]作为Mask R-CNN的扩展。还提出了一种快速生成合成数据集的方法,并且只用生成的合成深度图像而不是RGB图像来训练网络。然而,SD Mask R-CNN并没有表现出足够的性能,特别是对于场景中多个对象实例的遮挡。

三维点云的实例分割

一些研究者采用了基于proposal的方法来检测目标并预测实例掩码。3DSIS[63]将二维图像与三维几何信息相结合,推断出三维空间中物体的边界盒及其实例蒙版。对二维图像的需求限制了该方法的应用,因为用二维图像训练网络的成本很高。GSPN[64]继续了Mask R-CNN的想法。他们首先预测候选区域,然后使用R-PointNet对候选区域进行精细化,得到实例分割的结果。而基于3D-SIS和GSPN的区域提议网络占用了大量的计算时间。B. Yang等人提供的3D- bonet[65]直接对三维点云中每个实例的边界盒进行回归,同时预测每个实例的点级掩码。3D-BoNet在完成的点云上表现良好,因为在这些数据集中,例如S3DIS [42], ScanNet[66],对象的边界盒几乎没有重叠。换句话说,在拣箱场景中,物体的重叠和不完整性使得3D-BoNet很难回归合理的包围盒。
SGPN[35]是proposal-free的并且是第一个直接执行在三维点云上的实例分割方法。SGPN在假设同一实例中的点具有相似特征的基础上进行点云实例分割。SGPN的子网络预测每个点的置信度得分。每个点的置信度得分表示聚类参考点的置信度。作者[35]强调了一个有趣的现象,即位于边界区域的点的聚类置信值比其他点要低。受此启发,FPCC只选取一个最可能是物体几何中心的点作为物体聚类的参考点。x.wang等人将语义与实例信息相关联以提高性能。Phm等人已经使用多值条件随机场同时学习语义和实例标签。J. Lahoud等[67]通过聚类三维点,根据点对关系将点的特征映射到特征嵌入空间进行实例分割。但是,拣箱子场景中的对象都是相同类型的,所以每个点的语义信息是相同的。在这种情况下,语义信息与实例信息相结合的方法就失去了其有效性。
虽然这些没有提议区域的无提议方法使用了不同的方法来提取点的特征,但它们都需要找到远大于实例数量的点作为聚类的参考点,并且每个参考点对应一个潜在的组。然后,每个组通过union (IoU)上的交集进行合并。合并的过程需要大量的时间。耗时的原因在章节4.3.2中有更详细的描述。
FPCC不需要合并过程。此外,这些方法都是基于具有真实场景的公共数据集,如S3DIS[42]和SceneNN[43]。为拣箱场景制作这样的数据集是一项既耗时又费力的任务[48]。FPCC在真实世界的数据上显示了可接受的性能,即使是经过合成数据的训练。

网络描述

针对三维点云的实例分割问题,提出了一种新的聚类方法。训练数据为无颜色的三维点云,可以利用目标对象的三维形状模型在仿真中自动生成。快速聚类的主要思想是找到目标的几何中心,然后将这些点作为聚类的参考点。与现有的基于聚类的方法相比,我们有两个优点。一是在不含颜色信息的情况下,合成点云可以得到可接受的结果。其次,从理论上讲,我们可以找到场景中实例数量相等的中心点作为聚类的参考点,因此不需要冗余的合并算法[53,35],这些合并算法消耗了大量的计算时间,并且在重叠严重的场景中容易引入错误。

骨干网络
推理规则

如前一节所述,FPCC-Net 的两个分支输出嵌入特征和每个点的中心分数。对所有的点根据中心分数进行非最大抑制,以找到每个实例的中心。得分在0.6分以上的分数被认为是候选点。选择得分最高的点作为第一个中心点,球面上以该点为中心的,半径 dmaxd_{max}dmax​ 以内的所有其他点都被删除, dmaxd_{max}dmax​ 是从实例的几何中心到实例上最远点的距离。不断重复这个过程,直到候选点集为空。Algorithm1Algorithm1Algorithm1 给出了中心点选取的详细过程。
在这里插入图片描述
经过上述处理后,计算中心点与其他点之间的特征距离:d(eF(i),eF(k))=∥eF(i)−eF(k)∥2 d(e^{(i)}_F , e^{(k)}_F)=\lVert e^{(i)}_F - e^{(k)}_F \rVert _2d(eF(i)​,eF(k)​)=∥eF(i)​−eF(k)​∥2​ 其中,eF(k)e^{(k)}_FeF(k)​ 表示 Algorithm1Algorithm1Al

个人笔记——SGPN初学 SGPN是前段时间看的一篇点云实例分割的论文,在此,对SGPN的相关内容做个总结回顾。    SGPN是点云实例分割的首篇论文,在google scholar上搜相关点云实例分割的论文,似乎还有一篇是GSPN,通过点云的三维重建去实现实例分割,具体没有细看,略表不提。SGPN最大的贡献在于走通了点云实例分割的整个流程,对于点云如何进行实例分割给出了可行性方案,SGPN是基于pointnet系列... 阅读详情

相关推荐

【AI视野·今日CV 计算机视觉论文速览 第189期】Fri, 1 Jan 2021

AI视野·今日CS.CV 计算机视觉论文速览 --- Fri, 1 Jan 2021 -- 点云分割、点云匹配,视角变换、光场、球卷积、稀疏卷积、各种数据集

TomRen 4781

【论文复现】——FEC: Fast Euclidean Clustering for Point Cloud Segmentation

快速欧式聚类的PCL代码实现。更多详细内容见2022年最新出版的论文:[1] Cao Y , Wang Y , Xue Y , et al. FEC: Fast Euclidean Clustering for Point Cloud Segmentation[J]. arXiv e-prints, 2022.

点云侠的博客 3695

CloudCompare&PCL 快速欧式聚类(FEC)

CloudCompare&PCL 快速欧式聚类(FEC)

dayuhaitang1的博客 1919

3D点云处理--论文+源码理解:点云聚类 Fast Euclidean Clustering for Point Cloud Segmentation

基于Fast Euclidean Clustering for Point Cloud Segmentation的点云聚类,替换pcl的搜索方法,效率得到提升。

lddx_123456的博客 1886

八种点云聚类方法(二)— KMeans

传统机器学习聚类的方法有很多种,并且很多都能够应用在点云上。这是由于聚类方法一般是针对于通用样本,只是样本的维度有所不同。对于三维点云来说,其样本的维度为3。这里主要介绍几种典型的方法及其实现方式,包括DBSCAN、KMeans等聚类方法,采用python open3d和skit-learn来实现。上一节主要介绍了DBSCAN聚类五种点云聚类方法(一)— DBSCAN_Coding的叶子的博客-CSDN博客,本节简要介绍KMeans点云聚类。 KMeans聚类方法是机器学习中最常见的聚类方法之

叶子的博客 9828

PCL 改进快速欧式聚类【2025最新版】

在FEC: Fast Euclidean Clustering for Point Cloud Segmentation一文的基础上对算法进行改进。博客长期更新,本文最近更新时间为:2025年9月16日。

点云侠的博客 2570

Open3D DBSCAN聚类

DBSCAN算法做为一种有名的密度聚类算法,它是通过邻域参数(Distance,MinPts)来刻画样本分布的紧密程度。而在真正开始之前,首先要理解下面这几个概念:更为具体的内容也可参考这篇文章点云DBSCAN聚类算法。...

dayuhaitang1的博客 1802

八种点云聚类方法:KMeans

它通过将点云数据划分为多个具有相似特征的群集,以实现数据的有效分析和处理。K均值聚类(K-means clustering)是最常用的点云聚类方法之一。K均值聚类是一种基于距离度量的迭代聚类算法,其主要思想是通过迭代地将数据点分配到k个初始聚类中心中并更新聚类中心位置,直到收敛或达到预定的迭代次数。以上是八种常见的点云聚类方法,每种方法都有其适用的场景和优势。根据数据集的特征和任务需求,选择适合的聚类方法能够提高算法的效果和准确性。希望本文能够对点云聚类的研究和实践提供一定的指导和帮助。

. 1525

使用 Velodyne传感器生成的点云快速且稳健的聚类_C++_代码_相关文件_下载

这是一种快速且稳健的算法,可将 Velodyne 传感器拍摄的点云分割成对象。它适用于所有可用的 Velodyne 传感器,即 16、32 和 64 光束传感器。 查看一段视频,该视频显示所有以橙色勾勒的对象: 分割图 先决条件 我建议在您的 catkin 工作区(<catkin_ws> 在本自述文件中)中使用虚拟环境,并假设您已在本自述文件中进行了设置。如果需要,请相应地更新您的命令。我将使用pipenv 您可以安装的pip. 设置工作区和catkin 无论您的系统如何,您都需要执行以下步骤: 更多详情、使用方法,请下载后细读README.md文件

空地多无人平台协同路径规划复现:从建模到Matlab仿真全解析

路径规划是机器人领域的核心基础技术,从单机避障到多平台协同,问题复杂度显著提升。空地协同规划融合无人机与无人车的异构优势,通过将地图分层建模为空中与地面栅格,并采用A*算法生成初始路径、B样条平滑以及改进遗传算法进行任务分配与时间同步优化,能够有效处理几何约束、运动学约束和避碰约束等。该技术广泛应用于区域巡逻、目标搜索、物资转运等任务场景,也是高校论文复现和工程仿真的常见课题。本文从问题建模、算法设计到Matlab代码结构,系统梳理了一套空地多无人平台协同路径规划的复现思路,同时给出坐标系校准、遗传算法收敛

weixin_32175665的博客 254

model_optimizer将pi05端到端延时进一步优化到68.13ms了

目前在保持灵活性和性能之间找到一个较好的平衡。vit, llm仍然使用onnx->trt_engine的路径,量化可以通过https://github.com/NVIDIA/Model-Optimizer.git支持。同时支持通过cutedsl手写算子进行进一步优化denoise因为步数多,kernel launch多,因此完全通过手写融合算子实现,将所有steps进行一次大的cuda graph capture.

happyAnger6的专栏 63

11年电赛综合测评——单运放三角波发生器

目录 背景知识科普: 原理:局部负反馈+大环负反馈+积分器 仿真图如下: 背景知识科普: 反馈电路是将放大器输出信号(电压或电流)的一部分或全部,回收到放大器输入端与输入信号进行比较(相加或相减),并用比较所得的有效输入信号去控制输出,这就是放大器的反馈过程。 一、反馈放大器反馈极性的经验分析法—符号法 分析步骤1.在输入端上加上一个“+”或“-”的输入信号,按瞬时极性法标出反馈放大器中各个电极(基极b,集电极c,发射极e)电压的瞬时性。 2.判断经放大和反馈后得到的反馈信号Xf的瞬时极性

沉迷单车的追风少年 9913

conda install出现CondaValueError: Malformed version string invalid character(s)解决方案

本文主要介绍了conda install出现Solving environment:failed、CondaValueError: Malformed version string invalid character(s),希望能对新手有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 步骤一 2.2 步骤二 2.3 步骤三

weixin_43178406的博客 6万+

使用 Python 构建 Reddit 热帖爬虫:抓取热门讨论帖和评论

在现代互联网中,Reddit 被誉为全球最大、最活跃的讨论平台之一,汇聚了各种主题的帖子、评论和社交互动。因此,抓取 Reddit 上的热门帖子和评论可以为我们提供一个丰富的文本数据源,可以用于情感分析、话题建模、趋势分析等应用。Reddit 提供了官方的 API,可以让开发者获取包括帖子、评论、用户信息等在内的各种数据。我们可以结合上述方法,抓取多个热门帖子,并将每个帖子的标题、作者、发布时间和评论内容保存到一个数据结构中。每个帖子的对象包含了丰富的信息,如标题、内容、发布时间、作者等。

2201_76125261的博客 384

你知道吗?其实这些都是AI——农作物监控AI

随着全球人口的不断增长,粮食需求日益增加。为了应对这一挑战,现代农业正在迅速转型,引入了许多先进技术来提高生产效率和作物产量。在这些技术中,人工智能(AI)在农作物监控方面的应用显得尤为重要。通过利用AI技术,农民和农业专家可以更好地管理农作物的生长,预防病虫害,并优化灌溉和施肥方案,从而实现农业生产的智能化和精准化。

AI科研社 369

与本地电脑PDF文档对话的PDF问答程序

紧接着,从PDF文档中提取文本,这部分代码的作用是遍历PDF文档中的每一页,并使用extract text(0方法提取每一页的文本内容,然后将这些文本内容累加到raw text变量中。PDF问答程序的实现方式是利用LangChain已实现的向量存储、嵌入,以及使用查询和检索相关的链来获取外部数据集及处理文档,在进行相关性检索后进行合并处理,将其置入大语言模型的提示模板中,实现与PDF文件交流的目的。例如,你正在为一项重要的报告寻找资料,你必须知道你需要查找的关键词,然后在大量的信息中筛选出你需要的部分。

weixin_43961909的博客 1422

基于matlab的图像HOG特征提取算法仿真

方向梯度直方图(Histogram of Oriented Gradient, HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中,尤其在行人检测中获得了极大的成功。需要提醒的是,HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的,而如今虽然有很多行人检测算法不断提出,但基本都是以HOG+SVM的思路为主。

平时工作较为繁忙,私信消息一般晚上回复,谢谢大家~~ 734

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

上一篇: 【文献翻译】PointSIFT: 用于3D点云语义分割的 SIFT-like 网络模块
下一篇: 【JavaWeb学习】HTML
Garcia • Kirlant
博客等级 码龄9年 23粉丝 35原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址