基于卷积神经网络的室内RGB-D图像语义分割方法

《基于卷积神经网络的室内RGB-D图像语义分割方法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、

!(
#"BD& RGB-D)/
*02
,
-$'10%)
#+8
.
(
 ,04&
!"

ConvolutionalNeuralNetworkforSemanticSegmentationofIndoorRGB-DImagesADissertationSubmittedfortheDegreeofMasterCandidateJiang,JindongSupervisorLuo,FeiSouthChinaUniversityofTec

2、hnologyGuangzhou,China$TP39110561201520113014-!(#"BD& 
)


3âmX¸ązmX ãÓáČÇ÷q0ÚHÏhq0qÒXÓµôH¥æÙÝÎÔ Z«aíïóC¡¨20184¦10¡óÖü¡¨20186¦2¡q0$O0MPÃ~lqq0$¡¨¦¡Öün^K^!å?n^áČÂčõĉF}摘要为了让机器人实现精确的人机以及场景交互从而完成指定任务，机器人需要拥有对外界场景理解

3、的能力，图像语义分割就是实现这种场景理解的核心技术之一。2014年以来，深度神经网络算法逐渐被应用于图像语义分割任务中，其中基于卷积神经网络的全卷积结构效果最为优秀。在近年多个语义分割大型竞赛中，基于卷积神经网络的机器学习算法逐渐超越传统机器学习算法，并得到远远高于传统算法的检测精度。然而，在传统场景的语义分割任务逐步取得突破的同时，针对室内场景，特别是办公场所及居民住宅场景下的语义分割却始终是一个难点。这是由于室内场景中往往存在光照不均匀，物体间互相遮挡，以及不同物体具有相似颜色等的问题，这些问题都增加了机器学习模型对物

4、体结构分析的难度。因此，把用于室外语义分割任务的深度神经网络模型直接迁移至室内场景中，往往只能获得相对较低的分割精度。而在近几年的研究中可以发现，利用场景中的深度信息可以很好的解决这些问题，深度信息中所富含物体的几何结构以及相互的空间关系可以成为RGB图像一个有力的补充，有利于算法对室内场景中物体的类别以及连通结构进行分析。综合上述技术，ᴀ文创新地提出两个结合RGB-D图像信息以及卷积神经网络技术的算法，从而实现精确的室内场景语义分割。具体而言，ᴀ文将论述语义分割技术及卷积神经网络的技术要点，分析语义分割任务下的全卷积神经

5、网络模型，同时论述膨胀卷积运算，全连接条件随机场模型，残差卷积结构，RGB与深度信息的融合结构等关键技术，并基于所论述的技术提出两个RGB-D语义分割模型。其中，第一个模型为基于膨胀卷积与条件随机场的RGB-D语义分割，共分为两个模块。第一个模块为基于RGB-D的膨胀卷积网络，该模块使用分支-融合技术处结合RGB图像与深度图像的信息，并引入膨胀卷积操作进行特征运算，使得模型在不进行下采样的情况下获取足够大的图像感知域，便于模型在浅层且参数较少的情况下进行精确的语义推断。模型的第二个模块为基于RGB-D的全连接条件随机场，该

6、模块结合原始RGB图像与深度图像中的信息搭建条件随机场，对膨胀卷积模块的分割结果进行优化。通过设计对比实验，文章验证了模型在室内语义分割任务中的有效性，同时也展示了深度信息的融合对分割结果的优化作用。第二个模型则是基于全残差卷积网络的RGB-D语义分割，该模型同样使用分支-融合技术处理RGB-D信息。而与第一个模型不同的是，第二个模型使用编码-解码的全卷I积结构，并利用跳跃结构综合下采样与上采样中的信息。同时，模型使用残差模块作为基础模块搭建网络，避免层数上升时遭遇的模型退化问题，进而有效地搭建较为深层的全卷积神经网络结构

7、。在模型的训练阶段，针对编码-解码网络结构，ᴀ文进一步提出对多尺度分割结果进行监督学习的分层逼近训练法，使得模型获得更为精确的训练结果。在实验阶段，我们验证了模型在室内环境中具有高精度的分割结果，同时也展示了分层逼近训练模式对该模型训练的有效性。关键词：语义分割；卷积神经网络；RGB-D图像IIAbstractInordertoallowrobotstoconducthuman-machineinteractionandtoaccomplishspec-ifiedtasks,robotsneedtobetterunders

8、tandtheexternalenvironment,semanticsegmentationisoneofthecoretechnologiestoachievethissceneunderstanding.Since2014,manydeepneuralnetworkalgorithmshavebe