基于人脸表情特征与语音特征融合的情感识别研究

《基于人脸表情特征与语音特征融合的情感识别研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、AfheSiSSUbmi”edtoZhengzhOuUniVerSityFOrfhedegreeOfMaSterEmotionReCogn计ionbaSedOnthefUSionofEXpreSSionfeatUreandemOtion·reIatedaUdIOfeatUreByBOLiSuperVisor：Prof．L．nQiSignalandlnfOrmatiOnPrOCeSSingSChOOlOfInformafiOnEngineer．ngMay2014原创性声明本人郑重声明：所呈交的学位论文，是本人

2、在导师的指导下，独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人承担。学位论文作者：耋博日期：2护仟年石月“日学位论文使用授权声明本人在导师指导下完成的论文及相关的职务作品，知识产权归属郑州大学。根据郑州大学有关保留、使用学位论文的规定，同意学校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅；本人授权郑州大学可以将本学位论文的全部或部

3、分编入有关数据库进行检索，可以采用影印、缩印或者其他复制手段保存论文和汇编本学位论文。本人离校后发表、使用学位论文或与该学位论文直接相关的学术论文或成果时，第一署名单位仍然为郑州大学。保密论文在解密后应遵守此规定。学位论文作者：季谢日期：2．吁年51月2』日摘要情感识别在人们的社会交往过程中具有重要作用。人机交互领域的情感识别研究目标是使计算机在接收到人类的情感信号后能获取人的情感信息，准确的识别情感状态。最初人们对情感识别的研究，主要集中在单一情感特征识别方面。随着研究的不断深入，人们认识到来自不同渠道的

4、人类情感特征之间具有一定的互补性，充分利用不同渠道特征之间的相关性可以更好地进行情感识别。于是基于多模态特征的情感识别研究成为一个研究热点。而人们的情感主要通过语音、表情和肢体动作等方面来表达，其中语音信息和表情信息被认为是人类情感的两个主要指标。因此，本文首先提出基于分数阶傅里叶域人脸表情特征与语音特征融合的情感识别方法。其次，针对传统的非线性特征融合算法的不足，提出一种新的特征融合算法一广义监督局部保持典型相关分析算法(GSLPCCA)。该算法有效提高了双模态情感识别系统的识别率。本文的主要研究工作如下

5、：1．介绍了信息融合的相关知识，以及一维分数阶傅里叶变换的定义、性质及其离散算法，对二维离散分数阶傅里叶变换的定义和性质作了说明。并且重点研究了多模态情感识别方法中信息融合层次以及融合策略。2．提出基于分数阶傅里叶域人脸表情特征与语音特征融合的情感识别方法。考虑到表情特征与语音特征的非线性特征融合问题，提出采用核典型相关分析算法作为情感识别方法的特征融合算法。通过仿真实验，验证了该情感识别方法的有效性。3．提出一种新的特征融合算法一广义监督局部保持典型相关分析算法，并将其应用到了双模态情感识别方法中。在特征

6、融合时，传统的非线性特征融合算法均存在不利用或者不能充分利用样本类别信息的问题。与它们相比，本文提出的算法充分的利用了样本类别信息，对抽取的相关特征进行有效的监督，从而使抽取的特征更适用于分类。通过仿真实验，验证了该算法优于其它传统非线性特征融合算法。关键词：情感识别，信息融合，分数阶傅里叶变换，局部保持典型相关AbSlHlctAbStraCtEmotionreco印itionplays趾妇pon乏mtr01einmeprocessofpeople’ssocialcommullication．Theaimo

7、femotionreco鲥tionis也atcomputercandistillguishhlm缸’emotionsexactly缸tcrreceiVedbl瑚anemotioniIlfoImation．At也efirsttime，Them旬疵yof也eseworkei也erfocllsonspeecha】oneorf-acialexpllessionomy．Ho、Ⅳever，someof也eemotioIlsareaudiodomiIlant，、^71hiletlleotllersarevis砌domm枷

8、．Whenonemodalit)，f茵lsorisnotgoodenou曲tod酏ermineacertainemotion，也eoⅡ1ermo捌i锣c趿helptoimprove也erecog面tionperf．orIllaIlce．TheintegrationofaudioandVisualdala、析UcoIⅣeymoreinf0咖ationdboutthelmm锄emotionalstate．Thecom