4d人体动作识别中的关键技术研究

《4d人体动作识别中的关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学ＵＮＩＶＥＲＳＩＴＹＯＦＥＬＥＣＴＲＯＮＩＣＳＣＩＥＮＣＥＡＮＤＴＥＣＨＮＯＬＯＧＹＯＦＣＨＩＮＡ博士学位论文ＤＯＣＴＯＲＡＬＤＩＳＳＥＲＴＡＴＩＯＮ论文题ａ４ｄ人体动作识别中的关键技术研究学科专业控制科学与工程学号２０１２１１０７０２０６作者姓名ＭＷ指导教师程洪教授分类号密级注ＵＤＣ＾学位论文４Ｄ人体动作识别中的关键技术研宄赵洋指导教师程洪教授电子科技大学成都申请学位级别博士学科专业控制科学与工程提

2、交论文日期２０１８年４月论文答辩日期２０１８年６月学位授予单位和日期电子科技大学２０１８年６月答辩委员会主席评阅人：《国际十进分类法ＵＤＣ》的类号注１注明。ＲＥＳＥＡＲＣＨＯＮＫＥＹＴＥＣＨＮＩＱＵＥＳＯＦ４ＤＨＵＭＡＮＡＣＴＩＯＮＲＥＣＯＧＮＩＴＩＯＮＡＤｏｃｔｏｒａｌＤｉｓｓｅｒｔａｔｉｏｎＳｕｂｍｉｔｔｅｄｔｏＵｎｉｖｅｒｓｉｔｙｏｆＥｌｅｃｔｒｏｎｉｃＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｏｆＣｈｉｎａｇｙＤｉｓｃｉｐｌｉｎｅ：ＣｏｎｔｒｏｌＳｃｉ

3、ｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇＡｕｔｈｏｒ：ＹａｎＺｈａｏｇＳｕｐｅｒｖｉｓｏｒ：Ｐｒｏｆ．ＨｏｎｇＣｈｅｎｇＳｃｈｏｏｌ：ＳｃｈｏｏｌｏｆＡｕｔｏｍａｔｉｏｎＥｎｉｎｅｅｒｉｎｇｇ独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研宄工作及取得的研宄成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研宄成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献

4、均己在论文中作了明确的说明并表示谢意。＜作者签名：曰期年月曰９ｍｍ摘要近些年来由于人体动作识别的巨大应用前景，引起了学术界的广泛关注，国内一。２０１０外相关领域的学者们提出了大量的研宄方法，并取得了定的研宄成果年微软发布Ｋｉｎｅｃｔ深度传感器，使得在人体动作识别领域广泛应用深度信息成为现实。Ｋｉｎｅｃｔ的深度数据是通过发射的红外线脉冲投射在物体表面反射回来获得，由－－ｚ－此可以获得４Ｄ（ｘｙｔ）空间的数据。动作特征提取是人体动作识别中最核心的部分，特征的表征能力直接决定了整个动作识

5、别系统的性能。本文基于目前人体动作识别的研宄成果，针对４Ｄ人体一一系列的研宄动作识别中的特征提取这关键技术，进行了。本文的主要工作以及成果归纳如下：（１）目前在深度通道上提取兴趣点和特征描述子的研究相对来说较少，尽管已经有一些相关研宄，但是存在兴趣点过于稀疏，以及特征描述子没有充分利用空一间位置关系等向题－。针对上述问题ＨｅＳＳｉａｎ矩阵的深度时，本文提出种基于４Ｄ空兴趣点提取算法，该算法不仅可以提取深度视频中的稠密兴趣点，还具有空间尺度不变性一。针对深度数据的特点，提出种局部深度模式特征算法，充分利用了像

6、素点之间的空间位置关系。此外，为了更好的融合彩色特征和深度特征，基于Ｋｉｎｅｃｔ获取的彩色图像和深度图像相互匹配的前提一，提出种共享兴趣点坐标的方式，结合彩色通道和深度通道的特征描述子，并且分析了不同组合方式的效果，最后选出最优的组合来对动作进行识别，为４Ｄ人体动作识别研宄提供了新的思路。（２）目前基于深度信息的局部特征描述子往往只关注空间维度，而忽略了时间维度一一３Ｄ，针对这个问题，本文先对深度数据进行校正，提出种简单有效的稀疏描述子，通过计算帧内和帧间像素点的变化来提取动作特征。特征几何约束是人体动

7、作识别最常见的约束之一，可以大大减少动作的搜索空间，从而提高人体动作识别的性能。传统的金字塔匹配算法仅从二维空间和时间对目标进行几何约束，一针对深度视频本文提出－深度金字塔匹配算法３Ｄ种基于稀疏编码的时空。通过对稀疏描述子进行稀疏编码－，并在时空深度维度对深度视频进行金字塔匹配，可有效提髙４Ｄ人体动作识别精度，而且该具有很好的泛化能力，在不同的数据库上表现均衡，都已基本达到了目前最好水平。（３）目前大多数基于深度学习的４Ｄ人体动作识别方法，都是将深度图作为一种灰度图的方式输入到深度学习框架中，而没有利用其时

8、间域上的信息，因此本一文提出将深度场光流作为卷积神经网络的种输入，用来进行４Ｄ人体动作识别。Ｉｍｍ而且传统的深度学习网络结构往往只使用了一种数据模式，而没有将彩色和深度结合起来。本文将传统的双通道