基于RGB-D深度学习的假手抓取模式识别及控制研究.pdf

《基于RGB-D深度学习的假手抓取模式识别及控制研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于RGB-D深度学习的假手抓取模式识别及控制研究RESEARCHONGRAPPATTERNRECOGNITIONANDCONTROLOFPROSTHETICHANDBASEDONRGB-DDEEPLEARNING施纯源哈尔滨工业大学2018年6月国内图书分类号：TP391.4学校代码：10213国际图书分类号：004.8密级：公开工学硕士学位论文基于RGB-D深度学习的假手抓取模式识别及控制研究硕士研究生：施纯源导师：杨大鹏副教授申请学位：工学硕士学科：机械电子工程所在单位：机电工程学院答辩日期：2018年6月授予学位单位：哈尔滨工业大学ClassifiedInde

2、x:TP391.4U.D.C:004.8DissertationfortheMasterDegreeinEngineeringRESEARCHONGRAPPATTERNRECOGNITIONANDCONTROLOFPROSTHETICHANDBASEDONRGB-DDEEPLEARNINGCandidate：ChunyuanShiSupervisor：AssociateProf.DapengYangAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：MechatronicsEngineeringAffiliation：Sc

3、hoolofMechatronicsEngineeringDateofDefence：June,2018Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工学硕士学位论文摘要灵巧假手的商业化应用受制于其控制算法的发展：传统假手控制算法已不能满足多自由假手的控制；现阶段算法中，肌电编码式控制直观性差、实时性不足、需要长时训练；肌电模式识别控制不稳定、受混杂因素影响易误分类；多自由度同步控制可控制自由度少（2~3个），多集中在腕部控制，性能不可靠，尚且在研究阶段。针对灵巧假手的控制问题，本文避开上述拓宽人机

4、信息交互能力的思路，对一种基于RGB-D抓取模式识别的假手控制方法进行了研究。为了实现该方法，本文主要研究内容包括：单手可抓物品的RGB-D图像数据集研究、RGB-D双模态数据融合下抓取模式识别的卷积神经网络模型研究、基于RGB-D抓取模式识别的假手控制策略及系统研究。本文首先对国内外仿人假手肌电控制、假手抓取模式分类、RGB-D图像数据集、基于深度学习的RGB-D物品识别研究现状进行了综述，发现目前研究存在的一些问题，并确定了本文的主要研究内容：（1）为了解决没有适合假手抓取模式识别的RGB-D数据集，针对柱形抓取、球形抓取、三指抓取、侧边抓取等4种基本抓取模式，本文选取121

5、个典型物品以建立具有47245对RGB-D图像的数据集。相比现有数据集，其包含了单手可抓物品不同位姿的RGB-D图像并独立分类，且物品的选择更关注尺寸和形状的差异。（2）为了构建RGB-D假手抓取模式识别模型，本文首先利用卷积网络对RGB、Gray（RGB灰度化得到）、Depth三种单模态数据进行实验，发现Depth数据的效果最好，Gray数据其次，RGB最差。验证了具有三维信息的Depth数据对抓取模式识别的重要性，同时验证了颜色特征对抓取模式识别的任务而言并非关键特征。为了进一步提高识别的正确率，本文将Depth数据分别与RGB、Gray数据进行融合，并提出了一种双数据流的卷

6、积网络模型。其中双模态RGB-D、Gray-D模型相比传统单模态RGB识别技术提高了10%，分别为92.388%、92.168%。（3）为了进一步将（2）的识别模型嵌入到灵巧假手的系统中，解决灵巧假手的控制问题。本文提出一种基于RGB-D抓取模式识别的控制策略：首先在全局相机的辅助下由双数据流卷积模型实时识别桌面物品的假手抓取模式，然后设计4种肌电模式，其一模式控制是否将识别的结果传递给假手，剩余三种控制假手的“闭合”、“展开”、“放松”。该控制策略在96次抓取实验中，得到95.74%的成功率。关键词：假手控制；假手抓取模式识别；RGB-D数据集；双数据流卷积模型I哈尔滨工业大学

7、工学硕士学位论文AbstractThecommercialapplicationofdexterousprostheticsissubjecttothedevelopmentofitscontrolalgorithm:traditionalprosthetichandcontrolalgorithmscannolongermeetthecontrolofmulti-freedomprosthetics;inthecurrentalgorithm,theelectromyograp