基于多信息融合的实时疲劳检测与预警系统研究

《基于多信息融合的实时疲劳检测与预警系统研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号：TP391论文编号：102870118-S112学科分类号：080402硕士学位论文基于多信息融合的实时疲劳检测与预警系统研究研究生姓名唐杰学科、专业测试计量技术及仪器研究方向机器视觉指导教师陈仁文教授南京航空航天大学研究生院航空宇航学院二О一八年三月NanjingUniversityofAeronauticsandAstronauticsTheGraduateSchoolCollegeofAerospaceEngineeringResearchonReal-timeFatigueDetectionandAlarmSystem

2、BasedonInformationFusionAThesisinMeasurementandTestingTechnology&InstrumentsbyTangJieAdvisedbyProf.ChenRenwenSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringMar,2018承诺书本人声明所呈交的博/硕士学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或

3、撰写过的研究成果，也不包含为获得南京航空航天大学或其他教育机构的学位或证书而使用过的材料。本人授权南京航空航天大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本承诺书）作者签名：日期：南京航空航天大学硕士学位论文摘要近年来，人们对于物流效率的高度需求，迫使驾驶员必须在有限的时间内将货物送到，造成货运司机的长时间驾驶，于是人类不可避免的疲劳感成为了驾驶事故多发的主要因素。而目前已有的疲劳检测方法都存在计算复杂度高，耗时长，对硬件环境要求高等困难。本文

4、设计并实现了一套多信息融合的实时人脸疲劳检测和预警系统。该系统利用Android摄像头获取驾驶员脸部视频，通过改进的CFAN快速实现人脸关键点的粗定位，然后通过卷积神经网络和形态学相互结合的方法进行人眼和嘴部状态的分析，最后根据眼部和嘴部状态进行疲劳状态分析。在该算法的基础上本文搭建了一个基于Android和PC平台的实时疲劳检测和预警系统。论文主要工作如下：（1）人脸关键点定位研究。对比分析了级联回归模型和深度模型的特点，对深度模型中的CFAN算法进行了改进，加快了关键点定位的速度。（2）人脸关键点状态判别。根据人脸器官“三庭五眼”的几

5、何分布特点，对人眼和嘴部的待检测区域进行了分割。然后通过形态学的方法得到人眼和嘴部的椭圆轮廓，继而利用最小二乘法进行椭圆拟合，从而以此来描述脸部关键点的疲劳状态。但是通过实验发现，该方法在外界环境的干扰较大时，准确性较差。基于该种情况，本文使用融合卷积神经网络和形态学的方式将人眼的状态进行分类并验证。（3）实时疲劳检测与预警系统设计和实现。开发了服务器端和android前端的相应软件，通过android车载端和服务器端之间的数据交换，基本上实现了车载端、中控中心显示端和服务器端的实时监控预警各项功能。关键词：视频，信息融合，疲劳检测，人脸

6、关键点定位，预警I基于多信息融合的实时疲劳检测与预警系统研究ABSTRACTInrecentyears,thehighdemandforlogisticsefficiencyforcesthedrivertodeliverthegoodswithinalimitedtime,causingthedrivertodriveforalongtime.Therefore,theinevitablefatigueofthehumanracehasbecomethemaindriverofaccidents.However,theexistingm

7、ethodshavehighcomputationalcomplexity,longtimeconsumingandhighdifficultyinhardwareenvironment.Thispaperdesignsandimplementsamulti-informationfusionreal-timefacefatiguedetectionandpre-warningsystem.ThesystemtakesadvantageofAndroidcamerafordriver’sfacevideo.ThroughimprovedC

8、FAN,thecoarsepositioningoffacekeypointcanberealizedquickly.Then,theanalysisofhumaneyesandmouthis