基于唇读技术的自动语音识别系统设计与实现

《基于唇读技术的自动语音识别系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、论文题目基于唇读技术的自动语音识别系统设计与实现专业学位类别工程硕士学号201091231451作者姓名刘恒指导教师郝玉洁教授分类号密级注1UDC学位论文基于唇读技术的自动语音识别系统设计与实现（题名和副题名）刘恒（作者姓名）指导教师郝玉洁教授电子科技大学成都井然哲高工苏州市制造业信息化研究室郑州（姓名、职称、单位名称）申请学位级别硕士专业学位类别工程硕士工程领域名称软件工程提交论文日期2014.3.25论文答辩日期2014.5.30学位授予单位和日期电子科技大学2014年6月25日答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。DESI

2、GNANDIMPLEMENTATIONOFAUTOMATICSPEECHRECOGNITIONSYSTEMBASEDONLIPREADINGTECHNOLOGYAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:MasterofEngineeringAuthor:LiuHengAdvisor:HaoYujieSchool:SchoolofInformationandSoftwareEngineering独创性声明本人声明所呈交的学位论文是本人在导师

3、指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名：日期：年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段

4、保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：导师签名：日期：年月日摘要摘要在自动语音识别系统的领域，大多数的研究都集中在声波信号上。但在现实世界中，由于噪音的存在，这些系统的性能很难达到预期的效果。因此，利用视觉信息在改善语音识别系统的性能方面起到了非常重要的作用，尤其是在噪音环境下。本论文将主要针对利用视觉信息来进行的唇读技术研究。之前的研究表明，唇型的提取主要有两种方法。第一种是基于模型或几何的方法，例如，由于唇动导致唇部位置的偏差，可以从图像中提取唇部的宽度和高度等特征值。第二种是基于像素和动态的方法，通过获得原始像素值和

5、强度值。第一种方法虽然比较直观，但是由于涉及数据的流失，可能会造成大量信息的丢失。第二种方法虽然基本没有信息丢失，但是高维度的图像空间可能会造成计算上的弱势。本论文将采用基于模型的方法进行唇型的识别，测量出的内唇宽度和高度可以代表不同的唇型。由于内唇的区域相比于其它唇部区域较暗，因此可以很容易对唇部特征进行提取并节省计算时间。利用这一优点，可以设计一个空间滤波器来增强内唇区域的对比度。虽然此系统中滤波器的使用方法并非常用的方法，但是其性能的表现还是令人满意的，同时，这种增强技术还可以应用到其它的区域。图像对比度增强之后，可以使用一个高斯滤波器来消除噪音

6、的影响，从而获得一个清晰的内唇轮廓图。另外，可以采用4种不同的卷积核对内唇的宽度和高度进行测量，并用得到的数据建立一个数据库，来告诉系统单字和数据是如何相互对应的。数据库建立完成后，系统就能识别视频文件中的单字和由多字组成的单词。当一个视频文件导入到系统中后，系统会对每个图像进行处理并与数据库中的数据相对比。最终，系统通过计算与数据库中数据的最小偏差来显示识别的结果。虽然该识别技术取得了一些成绩，但还是存在一些潜在的局限性，如对工作环境以及头部位置摆放的要求。关键字：自动语音识别，唇读，卷积核，滤波器，数据库IABSTRACTABSTRACTInthe

7、fieldofautomaticspeechrecognition(ASR),mostoftheresearchfocusedontheacousticsignal.Theperformanceofthesesystemswashardlytoobtaintheexpectedresultsintherealworld,becauseofthepresenceofnoise.Hence,theuseofvisualinformationwouldplayaveryimportantroleofimprovingtheperformanceofthesp

8、eechrecognitionsystems,especiallyinnoisyenviron