基于RGB-D的环境建模方法与立体显示技术研究.pdf

《基于RGB-D的环境建模方法与立体显示技术研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于RGB-D的环境建模方法与立体显示技术研究（学术型）RESEARCHONRGB-D-BASEDINDOORENVIRONMENTBUILDINGANDSTEREOSCOPICDISPLAYTECHNOLOGY张子盈哈尔滨工业大学2018年6月国内图书分类号：TP242.6学校代码:10213国际图书分类号：681.5密级：公开工学硕士学位论文基于RGB-D的环境建模方法与立体显示技术研究硕士研究生：张子盈导师：李戈副研究员申请学位：工学硕士学科：机械电子工程所在单位：机电工程学院答辩日期：2018年6月授予学位单位：哈尔滨工业大学ClassifiedIndex

2、:TP242.6U.D.C:681.5DissertationfortheMasterDegreeinEngineeringRESEARCHONRGB-D-BASEDINDOORENVIRONMENTBUILDINGANDSTEREOSCOPICDISPLAYTECHNOLOGYCandidate:ZhangZiyingSupervisor:AssociateProf.LiGeAcademicDegreeAppliedfor:MasterofEngineeringSpeciality:MechatronicsEngineeringAffiliation:SchoolofMec

3、hatronicsEngineeringDateofDefence:June,2018Degree-Conferring-Institution:HarbinInstituteofTechnology哈尔滨工业大学硕士学位论文摘要随着科技的不断发展，虚拟现实（VR，VirtualReality）技术成为计算机研究领域的一大热点，不仅是科研工作者，在消费领域同样受到了极高的关注。在这个体系下可以创建并感受虚拟的世界，最基本的是视觉的体验，使用者可以沉浸式地感受虚拟世界，此外，理想中的虚拟现实技术可以为使用者提供全方位的感知功能。同时定位与地图创建（SLAM，Simultaneo

4、usLocalizationandMapping）是近阶段最热门的机器人导航的核心问题，国内外学者都致力于对其关键问题进行研究。基于RGB-D深度视觉传感器的V-SLAM，解决了单目、双目摄像机在建图过程中效率低、精度差的问题，并且随着消费级RGB-D传感器的出现，更多的开发者投入到SLAM研究的行列中。本课题将V-SLAM与虚拟现实技术融合，对部分V-SLAM过程中的内容进行改进，最终得到一个准确、鲁棒的环境重建方法。并根据大范围环境重建的结果，建立可沉浸式体验的虚拟现实场景。首先，基于RGB-D相机对SLAM前端进行深入研究和设计。研究深度相机结构及深度信息测量原理，对相

5、机的内部参数进行标定。结合迭代最近点（ICP）与深度图像信息，建立融合几何信息和RGB-D信息的相机位姿估计方法，通过李代数进行求解，并通过实验验证方法的准确性。其次，研究TSDF地图的构建原理，将其与SLAM方法融合并建立模型。针对“工作空间”局限问题，扩展相机运动区域，并根据相机位姿将深度图不断融合到模型中，结果显示多帧融合模型效果明显优于单帧模型。在此基础上，提出将基于词袋的回环检测方法加入重建算法中，优化轨迹并修正点云及模型，设置多个约束以减少回环判断失误的的可能，实验证明方法提升了建模的准确性。然后，结合场景三维重建的结果，对虚拟现实关键技术进行研究，通过对场景的复

6、现给使用者带来沉浸式环境感知。基于socket网络通信完成跨系统数据传输，并利用Unity对VR一体机进行二次开发，基于双目立体视觉对屏幕分屏处理，修复显示畸变，实现三维场景在VR一体机上的显示。最后，利用Kinect传感器进行实地实验，反别采集局部和大范围场景，验证了整体算法的可靠性、准确性。此外，采用TUM数据集对算法进行评估，通过轨迹的绝对误差进行分析，验证了算法具有较好的准确性。关键词：SLAM；虚拟现实；RGB-D；三维重建；回环检测-I-哈尔滨工业大学硕士学位论文AbstractWiththecontinuousdevelopmentofscienceandtec

7、hnology,VirtualReality(VR)technologyhasbecomeahottopicinthefieldofcomputerresearch.Ithasnotonlyattractedtheattentionofscientificresearchers,butalsoreceivedahighdegreeofattentionintheconsumerfield.Underthissystem,avirtualworldcanbecreatedandfelt.Themostba