基于RGB-D图像的三维物体检测与抓取.pdf

《基于RGB-D图像的三维物体检测与抓取.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第５期（总第２０４期）机械工程与自动化No．５２０１７年１０月MECHANICAL_ENGINEERING_&_AUTOMATIONOct．文章编号：１６７２‐６４１３（２０１７）０５‐００２８‐０３基于RGB‐D图像的三维物体检测与抓取何若涛，陈龙新，廖亚军，陈十力（广东工业大学机电工程学院，广东_广州_５１０００６）摘要：提出了一种基于RGB‐D图像的三维物体检测与抓取方法。该方法主要实现RGB‐D图像的模板匹配，对匹配结果进行聚类、评估和非极大值抑制，物体定位，并在三维点云中分割出平滑曲面，

2、从而计算机器人的抓取位置与姿态。实验结果表明：该方法可在杂乱环境下对目标进行定位，并引导机器人抓取，抓取成功率达到８９％。关键词：三维物体检测；机器人抓取；计算机视觉中图分类号：TP３９１.７６___文献标识码：A0_引言模板在图像中的位置c与图像I进行相似度计算，即：三维物体检测对于机器人方面的应用有着极大的（I，T，c）－maxfε∑t∈R（c＋r）m（Om（r），Im（t））．（１）意义，因为此类技术是机器人进行工件抓取、工件装配r∈P其中：函数fm为梯度夹角或法向量夹角的余弦值；R等任务的

3、前提条件。对三维物体检测的研究，目前的为一个以c＋r为中心的矩形区域；t为该矩形区域中方法可分为基于图像局部描述子、基于模板匹配和基的位置。当模板的相似度高于阈值s时，该模板被于三维点云描述子三种。但是，环境的不确定性和不匹配上。规则性仍然对目前的算法构成挑战。基于图像局部描［１－２］在进行匹配之前，本文利用OpenGL对物体的述子的算法不能检测纹理信息缺失的物体；基于［３－４］CAD模型进行渲染，得到模板图像。为了采集物体在模板匹配的方法容易在杂乱环境下生成误匹配［５－７］多个视角下的模板，我们

4、以一个虚拟球体包围模型，移（FalsePositives）；基于三维点云描述子的方法容动相机到球面上，对物体进行各个视角下的图像采集。易受点云噪声、点云密度的影响。本文改进了模板匹［８］本文以三通管为检测目标，其部分模板图像如图１所配算法LINEMOD，使其能够在图像中同时检测多示。同时为了实现尺度不变性，我们通过改变包围球个物体，并根据图像检测结果，在不需要计算物体三维半径的大小，模拟相机在不同距离下对物体的采集。位姿的情况下，基于三维点云生成机器人的抓取位姿。在采集图像的过程中，物体相对于相机

5、的位姿｛R，t｝和1_物体检测距离d被保存下来。本文提出的基于模板匹配的物体检测算法包含三个阶段：首先，采用LINEMOD产生初步识别结果；然后，基于模板的空间位置对匹配模板进行聚类；最后，对所有聚类进行评估，并利用非极大值抑制去除重复图１_三通管在多个视角下的模板图像识别结果，实现多个物体的检测。１．２_模板聚类１．１_模板匹配LINEMOD匹配后的结果如图２所示，其中三通首先利用模板匹配算法LINEMOD在图像中进管是检测目标，检测结果以包围盒标示。由图２我们行模板匹配。LINEMOD对模板的

6、定义为T＝可以看出，检测结果中包含了重复检测结果和错误检（｛Om｝m∈M，P）。其中，O为模板特征，表示彩色图像中测结果。因此，本文提出了一种模板聚类的算法，对具的梯度方向或深度图像中的法向量方向；M为模态，有相似空间位置的模板进行聚类。模板在图像位置表示彩色图像或深度图像；P为所有的模板特征在模（r，c）（其中r和c分别表示行和列）被匹配上，而物体板图像中位置r的集合。通过滑动窗口的方式，每张广东省重大科技专项（２０１４B０９０９１９００２，２０１６B０９１１００６）收稿日期：２０１７‐０３‐２

7、０；修订日期：２０１７‐０６‐２９作者简介：何若涛（１９９１‐），男，广东清远人，在读硕士研究生，研究方向为计算机视觉、机器人。_２０１７年第５期__________何若涛，等：基于RGB‐D图像的三维物体检测与抓取·２９·相对于相机的距离d在渲染该模板时已知，因此，我个问题，在图像中采用非极大值抑制移除重复识别结们定义模板的空间位置F＝（r，c，d）。果。对于每一个聚类，在图像中搜索（robj，cobj）邻域内模板聚类的过程分为两个阶段：首先，利用步长S的聚类，并比较聚类的评分。邻域γ的范围由半

8、径为r对r和c进行采样，得到r和c，因′此拥′有相同r和c′的′圆确定，如果一个聚类的评分并不是γ局部最大的，的模板会分配到一个聚类中去；然后，在每一个聚类内该聚类会被剔除。至此，认为每一个聚类表示一个检部，我们把拥有相同d的模板再分配到同一个聚类中测结果。每个检测结果在图像中以一个包围盒显示，去。完成上述两个步骤后，得到一组聚类，每个聚类包而包围盒的中心为（robj，cobj），包围盒的宽和高分别由含拥有相似图像位置（r，c）和相同训练距离d的模板。聚类内模板图像的宽和高均值计算