基于深度学习的心脑血管疾病预测方法研究

《基于深度学习的心脑血管疾病预测方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

分类号TP31学号1208240781学位论文基于深度学习的心脑血管疾病预测方法研究作者马宗帅指导教师姓名董丽丽教授申请学位级别_硕士专#名称软件工程论文提交日期_2015.6.15论文答辩日期2015.6.12学位授予单位岛要達統斜妓太#答辩委员会主席徐宏喆评阅|余吉张翔 本人郑重声明我所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中已经标明引用的内容外，本论文不包含其他个人或集体已经发表或撰写过的研究成果，也不包含本人或其他人在其它单位已申请学位或为其它用途使用过的成果。与我一同工作的同志对本研究所做的所有贡献均已在论文中作了明确的说明并表示了致谢。申请学位论文与资料若有不实之处，本人承担一切相关责任。论文作者签名:曰期：夂关于学位论文使用授权的说明本人完全了解西安建筑科技大学有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以采用影印、缩印或者其它复制手段保存学位论文。(保密的论文在论文解密后应遵守此规定）论文作者签名：指导教师签名~日期：*■二/i>本人授权中国学术期刊（光盘版）杂志社、中国科学技术信息研究所等单位将本学位论文收录到有关“学位论文数据库”之中，并通过网络向社会公众提供信息服务。因某种特殊原因需要延迟发布学位论文电子版，同意在□一年/□两年/□三年以后，在网络上全文发布。（此声明处不勾选的，默认为即时公开）论文作者签名：指导教师签名：秦^日期:W偷 西安建筑科技大学硕士论文基于深度学习的心脑血管疾病预测方法研究专业：软件工程硕士生：马宗帅指导教师：董丽丽教授摘要随着计算机技术的发展，将计算机技术应用在医疗方面进行疾病预测已经成为当前研究的热点，并且具有非常重要的意义。深度学习技术是近几年机器学习的一个最新研究成果，论文尝试将深度学习技术应用到心脑血管疾病预测。论文完成的主要工作如下：(1)心脑血管疾病数据的归一化针对人体生理数据各个属性值的物理意义和数量级差异，消除指标之间的量纲影响，论文采用Z-score标准化方法计算出数据集中各个属性的平均值和数据集的标准差，完成数据集的归一化处理。(2)基于DBN，构建心脑血管疾病预测模型结合心脑血管疾病数据的特点，构建基于DBN的心脑血管疾病预测模型。该模型的学习训练核心包括受限玻尔兹曼机网络和BP神经网络，采用贪婪逐层学习算法进行训练，完成输入结点、隐含层的层数以及各个隐含层结点个数的确定，最终确定出最优的DBN预测模型结构。实验表明该模型比BP神经网络具有更高的识别率。(3)设计并实现心脑血管疾病预测系统原型结合论文构建出的DBN模型，设计并实现了心脑血管疾病预测系统原型。该系统主要包括三个模块：数据的预处理模块、心脑血管疾病预测模块、预测结果展示模块，为心脑血管疾病方面的预测提供了一种疾病预测方法。关键词：心脑血管疾病预测，深度学习，深度信念网络，受限玻尔兹曼机，BP神经网络 西安建筑科技大学硕士论文ResearchoncardiovasculardiseasepredictionbasedonDeepLearningtechnicalSpecialty：SoftwareEngineeringName：MaZongshuaiInstructor:Prof.DongLiliABSTRACTWiththedevelopmentofcomputertechnology，thecomputertechnologyappliedinmedicaltreatmentfordiseasesforecastinghasbecomeafocusofresearch，andhasveryimportantsignificance.Deeplearningtechnologyisalatestresearchresultsinmachinelearningareainrecentyears，thisthesisattemptstoapplydeeplearningtechnologytothediseaseforecastingofcardiovasculardisease.Themainworksofthisthesisisasfollows:(1)DatanormalizationofcardiovasculardiseasePointingatthedimensionaleffectcausedbythephysicalsignificancedifferenceandordersmagnitudesdifferenceofthehumanbodyphysiologicaldata'sattributevalues，thisthesisusedtheZ-scorestandardizationmethodtocalculatethemeanvalueofeachdataset'spropertiesanddataset'sstandarddeviation，accomplishingthedataset'snormalization.(2)BasedonDBN，modelingthecardiovasculardiseaseforecastingCombinedwiththedatacharacteristicsofcardiovasculardisease，buildthepredictionmodelofcardiovasculardiseasebasedonDBN.ThetrainingcoreofthemodelincluderestrictedBoltzmannmachinenetworkandBPneuralnetwork，usingthegreedylayer-layerlearningalgorithmtotrainandthentoconfirmtheinputnode，layersofhiddenlayerandthenodenumberofhiddenlayer，finallyworkoutthebestDBNpredictionmodelstructure.ExperimentshowsthatthismodelhasabetteraccuracycomparedwithBPneuralnetwork.(3)DesignandimplementthecardiovasculardiseasepredictionsystemprototypeUsingtheconstructedDBNmodel，cardiovasculardiseasepredictionsystemprototypewasdesignedandimplemented.Thesystemmainlyincludesthreemodules:data preprocessingmodule，cardiovasculardiseasepredictionmodule，predictiondisplaymodule，whichprovideapredictionmethodforcardiovasculardiseases.Keywords:Forecastingofcardiovasculardisease，Deeplearning，Deepbeliefnetwork，RestrictedBoltzmannmachine，BPneuralnetwork 西安建筑科技大学硕士论文目录摘要.............................................................IABSTRACT..........................................................I1绪论............................................................11.1研究的背景及意义............................................11.2国内外研究现状..............................................21.2.1心脑血管疾病的研究现状..................................21.2.2深度学习的研究现状......................................31.2.3深度学习技术应用概况....................................31.3论文研究的内容..............................................41.4论文组织结构................................................62相关研究基础与技术分析..........................................72.1心脑血管疾病预测的基本过程分析..............................72.2几种疾病预测方法分析........................................72.3BP神经网络应用分析.........................................92.4深度学习技术分析...........................................112.4.1深度学习的基本概念.....................................112.4.2深度学习思想分析.......................................122.4.3玻尔兹曼机.............................................132.4.4受限玻尔兹曼机.........................................142.4.5深度信念网.............................................162.4.6深度玻尔兹曼机.........................................182.4.7深度学习的应用分析.....................................192.5本章小结...................................................203基于深度学习的心脑血管疾病预测方法.............................213.1基于DBN的心脑血管疾病预测模型.............................213.1.1数据来源...............................................223.1.2数据的归一化...........................................23I 3.1.3心脑血管疾病DBN预测模型结构的确定方法................243.2实验.......................................................263.2.0实验环境..............................................263.3.1DBN模型的最优结构确定.................................263.3.2实验结果对比..........................................293.4本章小结...................................................304心脑血管疾病预测系统的设计与实现..............................314.1系统概述...................................................314.2系统框架设计...............................................314.3系统模块介绍...............................................314.3.1数据的预处理模块......................................314.3.2心脑血管疾病预测模块...................................344.3.3结果展示模块..........................................354.4本章小结...................................................355总结与展望....................................................375.1论文工作总结...............................................375.2研究展望...................................................37参考文献........................................................39攻读硕士学位期间主要研究成果....................................43致谢............................................................45II 西安建筑科技大学硕士论文1绪论1.1研究的背景及意义随着人们物质生活水平的日益提高，人们生活的焦点也不再满足于关注衣食住行等最基本的方面。“身体健康”也逐渐成为了当前最受人们关注的话题之一。不仅仅各大门户类型的网站将“身体健康”作为其必须出现的热门板块，在微博、微信等社交平台中最热门的话题也出现了“身体健康”。苹果公司最近更是推出了Applewatch智能手表，还宣布推出了其全新的医疗研究平台ReachKit，国内的华为、小米等公司之前也推出了类似的智能可穿戴设备。比如：华为手环、小米手环等，各种有关身体健康的手机APP应用也是层出不穷。这些行业领导者已经慢慢地把我们带入了一个称为“大健康”的时代。由此可见“身体健康”受到的较高关注程度。然而由于生态环境污染和人们生活饮食习惯的改变，导致了越来越多的人抵抗力下降，身体素质也变得越来越差，身体处在亚健康状态，越来越[1-3]多的人患有心脑血管等慢性疾病。心脑血管疾病包括心脏血管和脑血管方面的疾病，一般是指由人体血压、血脂、血糖的升高以及血液黏稠、动脉粥样硬化等症状所引起的心脏、大脑及人体各个组织发生缺血或出血现象的疾病。它是严重地威胁着人们的身体健康，尤其是中老年人身体健康的疾病。心脑血管疾病在我国非常的常见，虽然目前的治疗手段和治疗方案已经足够先进，但是仍有很多的患者通过治疗之后不能完全康复，有的甚至生活不能完全自理。目前，全世界每年约有1500万人死于心脑血管疾病，居各种死因的首位。在我国不管城市还是农村，多种死亡原因的所占的比例都表现出了几乎相同的态势，呼吸系统以及消化系统疾病在死亡原因中占的比例越来越小，而心脑血管方面及恶性肿瘤等疾病的死亡率却越来越大。这样的形势在农村中更为明显，心脑血管疾病在死亡原因中所占比例比上升的速度已经大幅度的超过了恶性肿瘤的死亡比例。因此，不仅要做到患病时的及时就医治疗，还要做到在没有发病时的疾病预测才是最为关键的，只有做到了及时的发现，才能做到有效地治疗，才能有效地减少心脑血管疾病的死亡率。由此可见，心脑血管疾病[4,5]的预测是非常重要的。在我国，由于人口众多，看病难是一直存在的一个社会问题，因此目前还不1 西安建筑科技大学硕士论文能做到非常及时的身体检测。如今随着各种家庭医疗设备和智能可穿戴设备的出现，获取人们的日常身体检测数据也变得较为容易，然而很多老年人并不知道这[6-8]些数据的真正意义。随着机器学习的出现，许多领域专家已经利用计算机构建了某些疾病的预测模型，但由于传统机器学习算法存在的一些缺陷，往往达不到很好的预测效果。自2006年以来，深度学习技术持续升温，虽然理论研究还处在起步阶段，但是其应用领域已经涉及到了很多的方向，而且已经显现出巨大的能量，也给疾病预测方面带来了新的研究方向。浅层学习依靠人工经验抽取样本特征，网络模型学习后获得的是没有层次结构的单层特征，还需要依靠大量的人工进行；而深度学习通过对原始信号进行逐层特征变换，将样本在原空间的特征表示变换到新的特征空间，自动地学习得到层次化的特征表示，从而更有利于分类或特征的可视化。因此，论文利用深度学习的方法，对人们日常体检的数据进行分析，使人们能提前知道自己所存在的疾病风险。相信通过论文的研究，在心脑[9,10]血管疾病预测方面会有一定的辅助作用。1.2国内外研究现状1.2.1心脑血管疾病的研究现状心脑血管疾病的发生往往通过身体心脑血管各种生理指标可以推断出来，谢[11]华在“血脂指标联合检测在心脑血管疾病预测中的价值”一文中提出通过观察患者血脂的变化情况，探讨血脂在心脑血管疾病预测中的价值。而朱理敏、王宪衍在“脉压与心脑血管疾病危险因子”一文中提出了脉压可以作为心脑血管疾病[12]预测的参考因子。而大部分的方法都是只考虑到患者的某一种生理指标来进行心脑血管疾病的预测，这其中必定会出现很多错误预测。随着计算机技术的发展和进步，机器学习知识在疾病预测领域研究以及临床实践也在不断深入，人们愈发意识到血管的病变是引发各种心脑血管疾病突发事件的基础，心脑血管疾病已经给社会带来了巨大压力，因为心脑血管疾病一旦发病，会使发病患者要么突然猝死要么瘫痪在床。世界各国也都不断投入大量资金和人员到心脑血管疾病的研究中去，尽管如此依然无法有效地降低心脑血管疾病的死亡率，所以计算机在心脑血管疾病的预测就显得尤为重要了。冯变玲等在“基于数据挖掘技术的心脑血管用药不良反应与药品品种间聚类分析”一文中提出运用数据挖掘技术中的两个阶段聚类算法对药品的严重不良反2 西安建筑科技大学硕士论文应与药品品种间的关系进行聚类分析，找出了导致一些严重的不良反应的药物种[13]类，为心脑血管疾病用药提供了有效的指导。1967年，美国一家研究机构采用Logistic回归构建出了冠心病发病的预测模型，随后又连续推出多种新的疾病预测[14]模型。耿中泽在他的硕士学位论文“数据挖掘在计算机辅助诊断中的应用研究”一文中运用ID3算法生成决策树模型，提出模糊聚类与逐步判别与分析相结合的[15]方法，并将其应用在胃病的计算机辅助诊断上。吉林大学庞显涛在他的硕士学位论文“基于BP神经网络的心脏病预测研究与实现”一文中把BP神经网络应用[16]在了心脏病的预测上，取得了很好的预测效果。1.2.2深度学习的研究现状2006年，加拿大多伦多大学教授，机器学习领域的领军人物Hinton以及他的学生们在国内外享有很高知名度的学术杂志《科学》上发表了一篇文章，拉开了[17]深度学习技术在学术界和工业界研究的序幕。林妙真在其硕士学位论文“基于深度学习的人脸识别研究中”采用深度神经网络的方法克服了姿态变量和图像分辨率的影响，提出了一种多姿态的人脸识别超分辨率识别算法获得了很好的效果[18]。吕启等在“基于DBN模型的遥感图像分类”一文中提出了一种基于DBN模型的遥感图像分类方法，并验证其分类效果，表明深度学习的DBN模型方法可以[19]取得更好的分类效果。杜骞在硕士学位论文“深度学习在图像语义分类中的应用”一文中提出了两种深度学习模型用于图像语义的分类方法，并针对深度学习[20]模型训练难的问题，提出了深度学习模型的训练方法的改进建议。梁军等在“基于深度学习的微博情感分析”一文中提出利用深度学习方法进行中文微博情感分[21]析，利用递归神经网络进行分类，在性能和分类效果上达到了手工分类的水平。晁静在她的硕士学位论文“基于DBN的汇率预测研究”一文中构建出了深度学习[22]汇率预测模型，达到了良好的预测效果。夏春江等在“基于深度学习的木材含水率预测”中构建出了一种以DBN模型为核心的木材含水率预测模型，达到了很[23]好的预测效果。这些研究都为论文的研究提供了参考，同时说明论文研究的可行性。1.2.3深度学习技术的应用概况自2006年深度学习被提出到现在，一直都是学术领域研究的热点，掌握计算机技术的世界各国均在这个方面有大规模的投入。2010年，美国国防部先进研究3 西安建筑科技大学硕士论文局开始助力深度学习技术的研究，他们参与了美国多个世界知名大学及研究院的项目研究。微软公司也在2011年开始使用深度学习技术进行语音识别的研究，从而提升了语音识别的正确识别率20-30%，使得微软公司在语音识别领域取得了十多年来最大的进步。2012年，世界顶尖生物制药公司默克公司开始把深度学习技术应用在分子药性预测方面，他们从不同种类的分子中学习寻找那些能够有应用价值的药物分子，因此在世界上取得了最佳的效果。谷歌公司有一个具备自主学习能力的神经网络项目叫做GoogleBrain，它是由16000个处理器的服务器集群建立的一组大于10亿个结点的人工神经网络，它可以自主地从大量的输入信息中总结出概念体系，谷歌公司的图片搜索功能、无人驾驶技术和GoogleGlass都会在此基础上有所提高和进步。之后，Google公司构建的深度学习神经网络在识别物体时的准确度上比之前所用的系统提高了将近一倍，而且还大大地提高了Android操作系统的语音识别正确率。百度公司在使用深度学习技术以后，在语音识别方面所做出的成绩超过了语音识别领域在之前的十几年里所做出的成绩。几个月后，微软亚洲研究院利用深度学习技术开发出中英文即时口译系统，其正确率高达93%，并且翻译的两种语言发音都非常流利。欧洲委员会在2013年启动了计算机模拟人脑的超级计算机项目，打算在十年内耗资16亿美元，征集了全世界200名以上的领域专家参与到八十几个研究机构中去，以期望在人们大脑工作机制上取得重大突破和发现，还希望能够带动一些其他的计算机其他领域的新兴科技研发，该项目的投资力度和预期结果均可谓是空前绝后的。百度公司在2013年伊始创建了深度学习研究院。深度学习技术加上当前的大数据存储、云处理平台，一些新出现的语音搜索、图像搜索等技术都将慢慢实现，而且还会大规模的拓展搜索引擎的用户数量。这也是一些互联网巨头公司在语音搜索上不断推出新产品的动力[24-36]所在。1.3论文研究的内容一些传统的机器学习方法的准确率和泛化能力往往存在一些自身不足，而深度学习方法作为近年来比较热门的研究方向已经在很多领域有所应用，并且取得了非常好的效果。本论文主要研究内容是心脑血管疾病的预测，通过深度学习中的深度信念网络模型实现对心脑血管疾病的预测，来提升疾病预测的准确率。首先采集心脑血管疾病病人的日常体检数据，这些数据其实是跟患有的心脑血管疾4 西安建筑科技大学硕士论文病是有密切关系的。然后将体检数据进行预处理，归一化，建立计算机能够处理的表示模型，最后通过构建DBN预测模型，对数据进行分析，预测患有心脑血管疾病的风险有多大。从而辅助医生对心脑血管疾病进行诊断。所以，论文的重点是心脑血管疾病预测DBN模型的构建。在本论文中主要做了以下工作：(1)心脑血管疾病数据的采集与预处理由于人体生理数据的单位和意义各不相同，所以论文首先对这些数据进行了归一化处理，这是进行下一步构建模型的基础。(2)基于DBN心脑血管疾病模型的建立论文结合心脑血管疾病数据的特点，借鉴深度学习在其它各个领域的应用，采用DBN模型构建心脑血管疾病分类器，从输入结点个数的确定、隐含层的层数以及各个隐含层结点个数的确定，均通过实验来一步步来完成，最终确定出最优的DBN模型结构。(3)开发了基于深度学习DBN模型的心脑血管疾病预测系统结合论文中构建出的DBN模型，完成了心脑血管疾病的预测系统，为心脑血管疾病方面的预测提供了一种可以参考的方法。论文研究路线图如图1.1所示：确定论文题目：基于深度学习的心脑血管疾病预测方法研究相关文献的整理和理论研究的总结数据的选择及预处理基于DBN的心脑血管疾病预测方法实验确实验确实验确定输入定隐含定隐含层结点层结点层个数个数个数构建基于DBN的心脑血管疾病预测模型心脑血管疾病预测系统的设计与实现图1.1论文研究路线图5 西安建筑科技大学硕士论文1.4论文组织结构第一章，绪论。介绍了论文的研究背景和研究意义，对国内外对心脑血管疾病和深度学习的相关研究现状进行了分析和介绍，最后对论文所研究的内容就行了简要介绍。第二章，深度学习技术分析。本章中介绍了深度学习的相关基本概念，并分析总结了深度学习的思想，最后对论文所要用到的深度信念网络进行了详细的分析和介绍。第三章，基于深度学习的心脑血管疾病预测方法。本章是本论文的核心内容，从心脑血管疾病相关数据采集和预处理，到基于深度学习DBN算法进行数据建模，最后进行模型的学习和训练，以及实验和实验数据的分析。第四章，综合上述方法，完成了心脑血管疾病预测系统的设计和实现。第五章，对论文进行了总结和进一步研究的展望。6 西安建筑科技大学硕士论文2相关研究基础与技术分析2.1心脑血管疾病预测的基本过程分析根据本论文所研究的内容，可以归结为数据挖掘技术在医疗数据中的应用。而一般在医疗数据挖掘进行的过程可以分为以下五个步骤：明确主题，数据的采集及预处理，知识发现，分析知识，结果的应用。1)明确主题：在这个阶段，要求我们和相关领域的专家进行深入地探讨和交流，进行主题的分析，明确数据挖掘的主题，制定出本次数据挖掘的最终效果以及挖掘结果的成功的判断标准。2)数据的采集及预处理：明确所用数据的来源，明确是数据库中的数据或者其它来源数据的数据形式，这样可以从数据方面了解到数据挖掘的基本目标，也可以明确数据是否符合挖掘的形式，需要进行怎样的处理，其中包括数据集成、清洗、变换以及简化。3)知识发现：这个过程包括算法的选择、数据挖掘流程的确定、构建模型、模型的验证及结果评价等。数据挖掘出的知识在实际应用过程中需要进行多次的验证和分析，来验证其是否合理，也需要同相关领域专家进行深入地交流，把过程中各个实验的结果同他们进行分析验证，来验证知识是否合理。4)分析知识：数据挖掘的结果，要求要从用户的角度分析其合理性。在医疗领域数据挖掘中，要通过领域专家了解到挖掘出的知识能否在医疗诊断或者预测上有使用价值。还要分析是否符合挖掘的初始主题。5)结果的应用：挖掘的知识经过验证之后，需要对整个过程进行总结，以便为后来的数据挖掘提供经验，还需要进行推广和实施才能产生实际的应用价值。这[37,38]个过程需要进行详细的计划和部署才能完成。2.2几种疾病预测的数据挖掘方法分析疾病的发生和蔓延一般不是想象中那么简单的过程，当前在疾病的预测中已经出现了很多种数据挖掘方法，包括回归预测法、时间序列预测法、灰色预测法、马尔科夫预测法、人工神经网络法等，但是它们各自的优势和缺点是不尽相同的。不过有共同的一点，以上几种方法均采用了建立数学模型的方式和方法。当然，数学模型构建的过程中基本上涵盖了上述几个数据挖掘的基本步骤。把对实际问题的解决归结到对数学问题的解决，这也就是数学建模思想在实际问题解决上的7 西安建筑科技大学硕士论文[39-41]具体应用。表2.1是对几种常见的疾病预测方法的简单比较：表2.1几种常见的疾病预测方法的简单比较数据挖掘特点缺陷适用条件方法可以考虑到某疾病的各个产生因素和一旦受到其他因素影各个因素之间的关系，但是对于样本的比较适合样本数回归预测法响时，会产生较大的误数据量要求较大，并且要求样本要有一据量较大的预测差定的规律因为预测的是一马尔科夫预测预测结果的准确度相对较高，因为适合波动性个区间，虽然准确度法它的预测结果是一个区间比较大的样本高，但精确度还不够适用于样本量较灰色系统预测它是按时间序列的预测方法，样本数据对无时间关系的样本少，且时间序列法和预测结果需要按时间有一定的联系预测结果很差有一定联系的数据神经网络的结构确定人工神经网络这种方法具有自主学习的能力，它的网较为复杂，容易陷入局法络结构也是可变的，可以适应多种变化部极小点可以忽略各种影响因素，仅用时间不能有效地利用时间序列预测短期预测效的变化来代表，不过要求样本不要波动其它因素之间的相互法果相对较好太大影响关系从上表可以看出，回归预测法比较适合于样本数量较大且发展的态势比较稳定的情况；而灰色模型预测法是在样本数据中找出其中的规律，比较适合于样本数据较少且情况不太明确的预测情况下。在处理的数据形式上，灰色系统模型是利用处理后的数据进行模型构建，而回归分析法是利用原始数据构建模型，马尔柯夫法是利用概率计算来预测出以后取值的区间。在各种方法对数据的要求方面来看，时间序列法、灰色模型预测法、回归预测法适用于数据稳定波动性不大的情况；马尔柯夫预测法就适用于数据起伏比较大的情况。在它们对样本时间方面来看，时间序列、马尔柯夫、灰色模型法适合时间比较短的情况预测，而回归预测法则适合于时间较长的预测。相对于上述几种预测方法，神经网络模型就不会受时间、数据形式等条件的限制，因为神经网络模型的结构是可变的，在模型训练的过程中，可以不停地调整自己的数据结构，在样本变化的时候，模型也可以自适应，不过神经网络的结构和算法不是很容易确定，所以构建神经网络模型是十8 西安建筑科技大学硕士论文分困难的。到目前为止，在疾病预测的过程中，回归预测法、时间序列预测法、马尔科夫预测法、灰色系统预测法这几种方法主要用于研究疾病在群体中的发生、发展趋势，通过预测疾病的发病率、死亡率以及疾病蔓延速度，来帮助卫生部门制定疾病预防的策略，但这些算法都存在着一些缺陷。而深度学习提出了一种让计算机自主学习出数据特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。而目前以深度学习为核心的某些机器学习应用，在满足特定条件的应用场景下，已经达到了超越现有算法的识别或分类性能。所以，论文采用基于深度学习的DBN模型来进行疾病预测，相对于其它方法来说，DBN模型能够综合多种疾病发生的因素老考虑，它不仅具有一般神经网络的自我调整的自适应能力，而且也可以避免BP神经络容易陷入局部极小值的缺陷。2.3BP神经网络应用分析BP（BackPropagation）神经网络算法是由Rumelhart和McCelland等科学家[42]在1986年等共同提出的，它是按误差逆向传播训练的多层前馈神经网络的一种，目前已经被应用到很多领域，而且取得了很好的效果。假如一种前馈神经网络是用BP算法实现的，那么就叫做BP神经网络。BP神经网络算法，从被提出以来已经有28年的时间了，目前来看它的应用已经涉及到了各个领域。BP网络可以训练和保存很多的输入-输出模式映射关系，而没有必要解释表示这种映射关系的数学表达式。BP神经网络的学习方式是使用最速下降法，利用反向传播来不断调整网络的权值和阈值，让网络的误差平方达到最小。BP神经网络模型拓扑结构包括输入层(input)、隐藏层(hidelayer)和输出层(outputlayer)。BP(BackPropagation)神经网络，也就是误差逆向传播误差的学习方法，是信息的正向传播和误差的逆向传播两个过程组合而成。输入层各结点是接收输入的信息，然后向中间层传递接收的信息；中间层是负责内部信息处理的一层，主要是信息变换，中间层个数和结构的设计，要考虑到处理信息变化的需要；隐藏层的处理结果由最后一个隐藏层各结点负责传输到输出层各结点，然后输出层经过进一步处理完成了一次训练的正向传播处理，最后，输出层把信息处理结果输出到外界。如果最后的输出结果与预期的输出有差别的时候，就会开始进行误差的逆向传播过程。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐藏层、输入层逐层反传。循9 西安建筑科技大学硕士论文环往复的信息正向传播和误差反向传播过程，就是调整各层权值的过程，也就是进行神经网络模型的学习和训练，这个过程一直进行到输出误差小于某一个特定的值，或者训练次数达到自己提前设定的值即可。[43]图2.1为一个常见的3层BP神经网络模型结构：X1X2...Xn输入层W1隐含层W2输出层Y1Y2...Yn图2.1常见的3层BP神经网络模型结构[44]BP神经网络的学习算法如算法1所示。它是目前神经网络算法中使用最为广泛的多层前馈神经网络之一，具有很强的非线性映射能力，理论已经证明三层的BP神经网络，在隐含层自够多的情况下，能够以任意精度逼近任何非线性连续函数。当然，BP神经网络也存在一些不足，比如它的学习速度慢，隐含神经元的[45]个数不易确定，会出现局部极小化等问题。算法1:BP神经网络学习算法(1)数据初始赋值。连接权重ω、υ以及阈值θ、γ取(-1，1)间的随机值。(2)随机提供给网络一对输入向量和输出向量，输入向量记，，，输出向量记为，，，。(3)通过随机输入向量，，、权重和阈值，经由公式(2-1)和(2-2)计算：，，，(2-1)=，，，(2-2)得出隐含层各个神经元的输入μ和输出。10 西安建筑科技大学硕士论文(4)通过计算得出的隐含层的输出、随机权重υ和阈值{γ}，经由公式(2-3)和(2-4)计算：=k=1，2，…，n(2-3)=，，，(2-4)得出各个神经元的输入和输出。(5)根据网络的期望输出，，，和实际输出，由公式(2-5)计算出各个神经元的误差{}。，，，(2-5)(6)据权重、神经元输出误差{}以及隐含层输出，由公式(2-6)计算：得出隐含层各个神经元的误差。j=1，2，…，q(2-6)(7)更新权重和阈值。(8)通过隐含层结点的误差以及输入层各个神经元的输入，更新权重ω和阈值θ。(9)再次随机选择下一个输入输出向量，转到第3步，循环执行训练所有的P个输入输出向量。得到所有实际输出和期望输出的误差平方和。假如误差不大于预先设定的数值，那么就认为网络收敛，训练停止，否则进行下一步。(10)再选择一组新的输入和输出值，转到第3步，当误差小于预定的值时停止。2.4深度学习技术分析2.4.1深度学习的基本概念[46]自2006年深度学习概念被提出已经有九年时间，当初多伦多大学的G.E.Hinton等最初提出了有关深度学习的想法，这也开启了机器学习技术研究的新的发展方向，深度学习是指通过对样本数据集进行一定的训练，最后得到多层深度神经网络模型的过程。之前的神经网络模型一般都是对网络模型的权值进行随机初始化，这样会产生网络收敛到局部极小值的后果，为了避免产生这样的结果，Hinton提出使用无监督学习的模式改善神经网络权值的初始值赋值，之后在对网11 西安建筑科技大学硕士论文络的权值进行细微调整，这也就开启了深度学习研究的大门。近几年，在语音识别、计算机视觉等领域，深度学习的研究及应用已经取得了很大的进展。深度学习的目的就是通过构建模型模仿人类大脑中的神经元连接结构，在处理图片、音频以及文字等信号的时候，通过神经网络的不同层级的对上述数据进行特征描述，最后给出数据的解释。深度学习命名的根据是相对于传统机器学习方法而言，它的神经网络模型中相关的非线性操作的层数更多。传统的机器学习方法仅仅凭个人的经验提取样本的相关特征，通过神经网络模型学习之后得到的是没有多层结构的简单特征。在深度学习的模型中，是对原始数据进行各个层级的特征变换，每一层的特征变换都等价的表示到新的层级中去，而各个层级的特征表示学习都是自动进行的，这样就能更好的进行数据的分类。深度学习方法的另外一个理论依据就是：如果一个函数能够用某个数量的层级结构相对简洁的表达出来，那么用比它少一层的结构去表达这个函数也许就会需要相对于输入信息的指数级数量的参数，而且可能会出现泛化能力不够的情况。2.4.2深度学习思想分析如果存在一个n层(S1，...，Sn)结构的系统S，它的输入是I，输出是O，直观地表示如下：I=>S1=>S2=>.....=>Sn=>O。假如输出结果O和输入的信息I相等，也就是表示数据在系统中的被处理后和输入的信息保持了一致，即输入信息I的内容没有一点损失，说明其中任何一层中的输入信息都是最初输入信息的其它方式的表示，输入信息I在经过每一层的变化之后不会丢失相关信。这表明了深度学习理论的核心就是，在整个神经网络模型中，每一层的输入信息I和输出信息O是等价的。在模型学习的时候，往往是不需要人工干预的，它可以像人一样对所要研究的对象进行自主的学习。如果输入的信息为I，在经过上述系统的处理时，对系统的相关参数进行微调，最后得出等价的输入和输出，每一层都是如此，得到多个层次特征，记作S1，...，Sn。而且，上述的假设条件输出结果O和输入信息I相等，其中一个方面的相等是说I和O并不是在表示形式上的完全相等，而是在抽象意义上的相等；还有一个方面是说有一定限制条件的相等，而不是绝对的完全相等。上面所说的就是深度学习的基本思想，在深度学习中比较常用的几个方法包括：AutoEncoder和SparseCoding和受限玻尔兹曼机(RestrictBoltzmann12 西安建筑科技大学硕士论文[47]Machine，RBM)，论文会在后面的章节中进行相关介绍。由于深度学习理论出现的时间还不长，因此很多的深度学习模型都是以它的几个核心模型包括RBM、卷积神经网络等为基础进行改进的。论文首先分析了这几种基础模型，然后介绍了论文使用DBN模型进行心脑血管疾病的预测。2.4.3玻尔兹曼机Hiton和Sejnowski在霍普菲尔德(Hopfield)网络的基础上引入随机机制，最后[48]形成了一种基于概率的神经网络模型，也就是随机生成的Hopfield网络模型。之所以被叫做玻尔兹曼机，是因为它是和玻尔兹曼关于用统计物理学理论方法模拟热力学系统的方式有些相似之处。玻尔兹曼机的重要之处在于，它是第一个隐含层结点是能够训练的神经网络模型，假如给予足够的时间，那么它也可以解决更加庞大的数学模型问题。玻尔兹曼机的学习使用的是模拟退火算法，理论上可以避免局部极小值的问题，可以达到更好的收敛效果。玻尔兹曼机的基本结构如[49]图2.2所示：...隐含层...可见层图2.2玻尔兹曼机结构图它的所有结点由两个部分组成：可见层和隐藏层。可见层包含网络的输入和输出，隐含层用于扩充网络的记忆容量，提高信息处理的能力。玻尔兹曼机学习算法如算法2：算法2：玻尔兹曼机学习算法(1)将全部结点进行随机初始化。(2)然后对每个向量进行分别训练，重复执行算法中的步骤3-5，执行的次数需要进行提前设定。(3)固定网络输入和输出结点的状态，随机的将每个隐含结点状态13 西安建筑科技大学硕士论文进行初始化，并且将初始化温度设置为T。(4)步骤循环执行：随机选择一个结点，计算系统能量的改变，根据概率决定要不要改变当前这个结点的状态。重复这个循环环，执行次数为预先指定数值，降低温度T，达到低温稳定状态。。(5)统计循环：随机选取一个结点，计算系统能量的变化，根据概率决定要不要改变当前这个结点的状态，记录每个结点的状态值。重复上述统计循环过程到预先设定的次数，计算出每对结点的状态都等于1的概率。(6)针对同一个训练数据集，计算出的平均值，之后再对所有的训练数据集，计算出的全部平均值。(7)随机初始化所有的网络节点的状态和温度T。(8)按照本算法第4步，重复执行工作循环，最后使系统达到低温稳定状态。(9)统计循环：随机选取一个节点，计算系统能量的变化，按照概率决定要不要改变当前这个结点的状态，记录每个结点的状态值。重复这一过程到指定的次数，统计每对隐含结点的状态同时为1的概率，计算的平均值。(10)重复执行算法第7-9步到预先设定的的次数，更新权重矩阵公式为(2-7)和(2-8)。(2-7)(2-8)其中表示学习率。(11)假如||||足够小，那么训练停止，否则，转向算法第2步。2.4.4受限玻尔兹曼机受限玻尔兹曼机的架构是很强大的，是在上述玻尔兹曼机原理的基础上发展而来的。玻尔兹曼机的优势在于其强大的无监督学习能力，能够从庞大的数据中学习到其中隐藏的规则。然而，它不能够计算出玻尔兹曼机要表示的分布。所以，14 西安建筑科技大学硕士论文[50]Smolensky提出了受限玻尔兹曼机，其中把玻尔兹曼机原有的层间连接进行限制，在同一个网络层的不同结点相互不连接的，只有层与层之间的结点才会有连接，这样就会使得求得它的它的概率分布函数比较容。hV图2.3受限玻尔兹曼机受限玻尔兹曼机马尔可夫随机场中存才的特殊情况，它存在两层网络结构，其中它的可视层由多个可视单元V=(v1，v2，…，vm)构成的，它们基本上都是服从高斯分布或者伯努利分布。如图2.3所示，受限玻尔兹曼机中上层表示多个隐藏单元构成的隐藏层，而在下层的可视层是由多个可视单元组成，其中仅仅有可视层单元与隐藏层单元之间是有权值连接，而可视层与隐藏层单元内是无连接的，每个结点的值只有两个状态。如果用V来表示可见层结点的状态，用h来表示隐含层节点的状态。它们的状态由下面的公式(2-9)和公式(2-10)来决定：(2-9)(2-10)受限玻尔兹曼机的学习算法如算法3：算法3：连续的受限玻尔兹曼机学习算法(1)设训练数据集用，，表示，随机初始化各个隐含神经元的状态{}和权重.(2)随机选择一个训练集，输入到网络中，可见结点的状态即为输入样本值。(3)确定隐含层各个结点的状态；在区间[0，1]上依均匀分15 西安建筑科技大学硕士论文布产生随机数，如果则将隐含结点的状态置为1，否则，置为0.(4)更新可见层各结点状态；在区间[0，1]上依均匀分布产生随机数，如果则将可见结点状态置为1，否则，置为0.(5)再次更新隐含层结点的状态；在区间[0，1]上依均匀分布产生随机数，计算，如果，则将可见结点状态置为1，否则，置为0.(6)计算和:分别计算、以及、同时为1的概率，分别记为和更新网络的权重矩阵，公式如(2-11)和(2-12)：(2-11)=(2-12)，其中，是学习率，是平均值。(7)重复执行2-6步，直到结点的状态不再发生改变，或者循环足够多时停止。2.4.5深度信念网深度信念网络(DeepBeliefNetworks，DBN)就是由多个受限玻尔兹曼机叠加之后形成的神经网络，其中存在着很多隐藏层的解释因子，是G.E.Hiton等人在2006年提出的。如果存在一个n层的DBN模型，就可以针对可视层的变量和隐藏层变量，，，，，之间的联合分布进行模型构建，其中每一个隐藏层均是由二值单元构成的，所以对于DBN模型整体来说，它的联合概率p(v，h(1)，h(2)，…h(t))计算方法如公式(2-13)所示，，，，，，(2-13)其中，，是第k层和k+1层之间的阶乘条件分布：=其实就是进行预训练和逆向的细微调整进行整个DBN模型的训练：首先进行预训练，是对每一个受限玻尔兹曼机进行单独训练，之后进行逐层叠加把上一层16 西安建筑科技大学硕士论文的输出作为下一层的输入，之后可以利用BP算法根据误差函数进行逆向调节。图2.4为深度信念网络的结构图。h3h2h1V图2.4深度信念网络结构图评价一个模型的好坏主要是看它的性能，比如是用一个分类任务进行性能测试的时候，DBN模型就可以在预训练之后通过标签数据使用BP算法进行模型的为调整，从而提升模型预测的性能。在这部分使用BP算法，仅仅是在DBN模型中和通常的前馈神经网络有关的部分权重的微调上面，这样可以取得训练速度加快和收敛时间变短的效果。在Hinton把深度信念网络模型用在MNIST手写特征识别任务的时候，事实结果说明了深度信念网络模型对性能的提升效果要比传统的前馈神经网络模型好。之后Bengio通过对他们的DBN模型的优点进行了分析，又对原有的DBN模型只能输入两个值的数据进行扩展，把其中的伯努利分布的输入修改成高斯分布的输入，这就扩展成对输入为任意数据进行学习和训练。从深度信念网络提出以来，大量的基于原有DBN模型的改进或者扩展已经出现了很多，其中包括卷积深度信念网络，稀疏深度信念网络等等。算法4：连续的DBN学习算法(1)网络初始化：假设结点的状态为，表示与结点相连的结点的状态，将模型中各个结点的状态、权重矩阵进行随机初始化.(2).随机的输入一个样本到网络中，更新节点的状态Sj，这些节点是在第一个隐含层的。(3)按照第2步计算出的隐含结点状态改变可见节点的状态，公式如(2-14)和(2-15)：，(2-14)17 西安建筑科技大学硕士论文(2-15)其中，就是一个平均值时0，方差是1的高斯随机变量，是一个0-1之间的常数。是一个s型函数的，和分别是函数的上界和下界。其中参数是一个噪声控制参数，表示的是s行函数的斜率，对于节点随机表现的程度和性质都有影响。(4)依照第3步计算获得的可见结点的状态，再进行隐含层状态的更新，记作，它的计算公式为(2-16)：，(2-16)(5)随机选择一个样本，转到第2步，假如这一次输入的样本已经被使用过，那么就计算权重的改变量，噪声参数的变化，改变权重矩阵和噪声控制的参数。公式如(2-17)和(2-18)：(2-17)=(2-18)(6)跳转到算法第2步，进行新的一轮的训练，当执行到预先设定的次数或者权重矩阵的变化足够小，即，训练就停止。(7):将第一个RBM的得到的输出作为第二个RBM的输入,重复上面的1-6步骤,训练第二个RBM,直到构成DBN所有RBM都训练完毕,DBN的训练结束。2.4.6深度玻尔兹曼机深度玻尔兹曼机之中包含多个可视单元的二值集合，集合，和个隐藏单元组成的，集合，其中，集合按序排列，比如，，，，，，。在相邻的各层之中，只有隐藏层单元之间是有连接的，比如第一层中可视单元与同它相近的隐藏单元之间是一样的，在一个有着三层的隐藏层的深度受限玻尔兹曼机中，它的状态，的[58]能量计算公式如公式(2-19)：18 西安建筑科技大学硕士论文，(2-19)其中，，是隐藏层集合，而，，是模型的权重参数。图2.5是深度玻尔兹曼机结构图。W3W2W1图2.5深度玻尔兹曼机结构图对于单层受限玻尔兹曼机来说，假如增加它隐藏层的层数，那么将会得到深度玻尔兹曼机模型；而假如是在模型中靠近可视层的部分采用有向图模型的贝叶斯网络，在输出层采用受限玻尔兹曼机，将会得到深度信念网络模型。其中深度玻尔兹曼机模型在一些非常复杂的具有内在表现特征学习方面具有很大的潜力，因此被当作是语音识别和图像识别方面一个新的出路，将会在深度学习领域大显身手，被用到各个地方。另外，深度玻尔兹曼机可以从大量的自然界中存在的信息数据中提取出很多更高级别的表现特征，然后采用人工自定义的各种标签数据再对这些高级别的特征数据模型进行细微调整，使它能够得到更好的分类结果。最后，不仅仅是都是从上到下的结构自动生成的结构，而且也可以进行自顶向下的反馈，它还允许更为健壮地处理模糊的数据信息以便更好地传播，从而减少传播过程中产生的误差。2.4.7深度学习的应用目前，深度学习理论在很多的领域都有优于过去的实现方法，下面对深度学习在语音识别和图像识别领域的应用做简单的介绍。在语音识别领域，微软研究院的一些语音识别专家自2009年开始就和深度学19 西安建筑科技大学硕士论文[59]习领域专家开展合作。在2011年，微软研究院基于深度学习神经网络模型的语音识别研究取得成果，从而改变了语音识别技术的研究方向。之后，谷歌公司也对声音数据进行深度学习网络模型的构建，同百度公司一样成为最早突破深度神经网络工业化应用的公司。其中谷歌公司构建的深度神经网络有4到5层，百度公司构建的深度神经网络达到了9层之多。之所以有这种差异，是因为百度公司在深度神经网络在线计算的技术方面采用了更好的方法，因此百度公司的产品能够使用相对复杂的神经网络模型，在将来的大数据DNN模型训练方面，百度公司将会有更加强大的优势。在图像识别领域，百度公司在2012年的时候把深度学习技术用在了图像识别和人脸识别方面，还上线了相关的桌面以及移动客户端搜索的产品。2013年，他们又把深度学习模型用在了一般的图片识别方面。从百度公司在深度学习的应用领域研究我们可以看出，深度学习在图像识别方面不仅能够提高识别的正确率，还大大缩短了特征提取所要耗费的时间，这也就提高了在线计算的效率。由此看来，深度学习技术将会慢慢地取代传统人工特征提取加机器学习的方法，而成为图像识别的主要方式。2.5本章小结本章主要介绍了数据挖掘技术在医疗领域的应用的技术路线，深度学习的基本概念和深度学习的基本思想，分析了受限玻尔兹曼机算法。然后在受限玻尔兹曼机的基础上，进一步分析了深度信念网络和深度玻尔兹曼机。最后介绍了深度学习在语音识别和图像方面的应用。20 西安建筑科技大学硕士论文3基于深度学习的心脑血管疾病预测方法3.1基于DBN的心脑血管疾病预测模型基于DBN的心脑血管疾病预测模型的建立流程如3.1图所示：原始数据数据预处理训练数据集测试数据集确定DBN的最优网络结构输入层的结隐含层的结隐含层的层点个数点个数数权重调整训练预测DBN模型输出预测结果图3.1DBN的心脑血管疾病预测模型的构建过程1)数采集和预处理。采集心脑血管疾病病人的各项体检数据组成原始数据集，然后对原始采集数据进行预处理，最后把数据集划分为训练数据和测试数据两份。2)构建心脑血管疾病DBN模型。采用实验的方法进行心脑血管疾病的DBN模型的最优网络结构。包括输入层结点的个数、隐含层结点的个数和隐含层的层数三个方面。3)构造DBN的心脑血管疾病预测模型。利用训练数据对DBN预测模型进行训练，为了加速训练，计算实际输出和目标输出的误差，使用与网络权重W相关的函数来表示这个误差，用共轭梯度算法来调整权重矩阵，最后得到是误差函数21 西安建筑科技大学硕士论文达到最小的网络权重矩阵W，这就是DBN与共轭梯度算法结合的心脑血管疾病预测模型。4)测试阶段。将测试数据输入到心脑血管疾病DBN预测模型中，计算心脑血管疾病的预测结果。5)预测结果分析。对于相同的训练数据和测试数据，利用经典的预测方法进行预测，将预测结果与DBN模型的预测结果进行对比。3.1.1数据来源为了对比本论文所采用的基于DBN构建的预测模型的预测效果，本论文参考文献[16]所使用的机器学习库（http://archive.ics.uci.edu/ml/datasets/Heart+Disease）数据集进行实验。(1)数据集名称：HeartDiseaseDatabase(2)数据集来源：论文中所使用的数据由AndrasJanosi，WilliamSteinbrunn，MatthiasPfisterer和RobertDetrano等在1998年7月收集的总共4个数据集文件。(3)数据集包含的属性及说明-1.(Age)ageinyears-2.(Sex)sex--Value(1=male;0=female)-3.(Cp)chestpaintype--Value1:typicalangina--Value2:atypicalangina--Value3:non-anginalpain--Value4:asymptomatic-4.(Trestbps)restingbloodpressure(inmmHgonadmissiontothehospital)-5.(Chol)serumcholestoralinmg/dl-6.(Fbs)fastingbloodsugar>120mg/dl(1=true;0=false)-7.(Restecg)restingelectrocardiographicresults--Value0:normal--Value1:havingST-Twaveabnormality(Twaveinversionsand/orSTelevation22 西安建筑科技大学硕士论文ordepressionof>0.05mV)--Value2:showingprobableordefiniteleftventricularhypertrophybyEstes'criteria-8.(Thslach)maximumheartrateachieved-9.(Exang)exerciseinducedangina(1=yes;0=no)-10.(oldpeak)STdepressioninducedbyexerciserelativetorest-11.(Slope)theslopeofthepeakexerciseSTsegment--Value1:upsloping--Value2:flat--Value3:downsloping-12.(Ca)numberofmajorvessels(0-3)coloredbyflourosopy-13.(Thal)3=normal;6=fixeddefect;7=reversabledefect-14.(Num)diagnosisofheartdisease(angiographicdiseasestatus)--Value0:<50%diameternarrowing--Value1:>50%diameternarrowing由于实验中所用数据主要来自四个不同的数据文件，这些数据文件里的数据是来自于四个各不相同的组织或研究机构，不过他们都使用同样严谨的准则，和数据表示形式，经数据的选择和处理得到本论文构建数据模型能够使用的数据820个，其中第一个数据集303条，第二个数据集294条，第三个数据集123条，第四个数据集200条。论文选择了其中的320条数据用来进行网络模型的构建、参数调整和训练，其中220条用来进行网络训练，用500条进行网络模型识别率的测试。之后，把剩下的500条数据分成5个测试数据组，每个数据组100条，用来进行算法验证。其中数据的属性总共有76个，而能够用来进行疾病预测的数据属性有上述的14个，所以需要先对该数据集进行属性选择的初始化处理，从该数据集中提取出有用的14个数据属性。论文通过数据预处理程序，将源数据文件中的各个属性进行选择性处理，把处理结果存放到新的数据文件中去，这一步是完成数据的初步选择预处理。3.1.2数据的归一化因为论文3.1.1节中所述的数据集中的各个属性值的物理意义和数量级是均不23 西安建筑科技大学硕士论文相同的，所以，需要对数据集进行归一化处理。数据标准化、归一化处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，数据映射到0～1范围之内处理，更加便捷快速，各指标处于同一数量级，适合进行综合对比评价。数据归一化有几种比较常用的方法。1）线性函数转换也叫做离差标准化，是对要处理的原始数据进行线性变换，最后获得映射在区间[0，1]上的值，它的转换函数如公式(3-1)：（3-1）其中、分别为转换前、后的值，、分别为样本的最大值和最小值。但是这种方法有一个缺陷，就是当样本中有新的数据更新时，可能会出现和变化，这就需要进行重新定义重新归一化。2）Z-score标准化方法，它是通过原始数据集的均值以及标准差进行数据的归一化，经过这种方法处理后的数据集会符合正态分布，即均值是0，而标准差是1，它的转换函数如公式(3-2)：μ=(3-2)其中是所有样本数据的平均值，是所有样本数据的标准差。因此，论文采用Z-score标准化方法对数据集进行归一化处理。通过对初步选择后的程序进行计算，计算出数据集中各个属性的平均值，再根据公式(3-3)(3-3)计算出数据集的标准差。其中是样本数据的平均值，N为样本的个数。最后在进行数据的归一化处理，把归一化处理的结果存在新的文件中。3.1.3心脑血管疾病DBN预测模型结构的确定方法DBN模型的学习训练核心包括受限玻尔兹曼机的无监督自主训练和BP算法24 西安建筑科技大学硕士论文的有监督训练。在DBN模型训练的时候，如果同时进行整个网络所有层的训练，会导致时间复杂度太高，而如果采用贪婪逐层学习算法将会解决这个问题。贪婪逐层无监督学习算法基本思想是，将一个DBN网络模型进行分层学习，每一层都是无监督的学习，所有网络层学习完毕后，再对整个DBN网络模型进行有监督学习的微调。贪婪逐层学习算法步骤如下：算法5：贪婪逐层学习算法(1)把作为输入信息，进行第一个RBM的训练，最后达到能量平衡；(2)将上一层学习到的结果作为第二层RBM的输入，继续训练网络；(3)重复执行上一个步骤，直到网络的最后一层；(4)把最大似然函数作为训练目标函数，进行网络参数的调整，以达到网络的最优结构。在构建DBN模型的时候，有两个非常重要的参数需要确定，就是输入层和隐含层结点的个数。在心脑血管疾病预测模型的构建过程中，输入层结点的个数就是所采用的数据集中数据的个数，输入层结点的个数如果不相同，很可能会出现完全不同的预测结果，所以，在模型构建的时候首先要进行输入层结点个数的确定。模型中隐含层的结点实际上是DBN模型可以通过数据集学习到的知识，它能够表现出数据中复杂的非线性关系。而假如模型的隐含层的结点的个数过少，就会出现模型构建失败的情况，相反，假如隐含层的结点过多，也会出现过度拟合的缺陷，这些都会出现预测结果误差过大的情况出现。所以，隐含层结点个数的确定，在心脑血管疾病预测中同样是很重要的。DBN模型之中包含多个隐含层，它是生成型的神经网络模型。在数据关系比较复杂的模型构建过程中，由于DBN模型包含多个隐含层，所以它能够表现出更加强大的能力。因而，在模型性能优化的方法上，就能够采用改变隐含层个数和各个隐含层的结点个数方面进行优化，这就为模型构建提供了方向。于是就可以根据不同的数据集、不同的应用领域构建出不相同隐含层个数的DBN网络模型。然而，在DBN模型的结点个数和网络层个数的确定方法方面一直是一个没有解决的问题所在，目前为止，还没有能够采用统一的方法来解决这个问题。所以，论文中依然采用实验的方法来确定DBN模型的最优结构。当DBN模型的隐含层个25 西安建筑科技大学硕士论文数为1时，在输入层中，把输入结点的个数设置为1-10之间改变的10个不同值。把隐含层的结点个数设置为4、8、12、16、20五个不同的值。这样设置的根据是已经有研究者发现，相对与输入结点的个数变化，网络的预测效果对隐含层结点个数的改变更加敏感。在对数据集的实验结果中，寻找出识别率最高时对应的输入层结点个数和隐含层结点个数，之后再增加新的隐藏层，判断新的隐含层中结点个数的变化对预测效果的影响，从而确定最佳结点个数，同时也确定了隐含层的层数。3.2实验3.2.0实验环境本次实验所用计算机的配置为：操作系统：windows7旗舰版CPU：IntelCoreI7-26003.4GHZ内存：DDR34GB硬盘：1TB3.3.1DBN模型的最优结构确定用训练数据集来做实验，确定DBN模型的最优结构。下表3.1中显示了输入结点的个数对心脑血管疾病的预测的影响。当输入层结点个数在1-10(下表中IN列所示)之中改变的时候，隐含层结点个数取值在4、8、12、16、20五个值(下表中HI列所示)中选择，然后对每个输入层结点与隐含层结点个数进行组合，Rate为识别率，如表3.1中所示，这里的识别率AVG列表示了对5组数据预测识别率的平均值。表3.1模型中输入结点个数(IN)和隐含结点个数(HI)对模型训练的影响INHIRateINHIRate140.92640.97180.93680.941120.976120.951160.936160.991200.956200.9626 西安建筑科技大学硕士论文AVG0.94AVG0.962INHIRateINHIRate240.91740.92280.94780.932120.987120.952160.957160.922200.917200.94AVG0.938AVG0.932INHIRateINHIRate340.91840.95380.93880.913120.948120.933160.928160.953200.958200.91AVG0.93AVG0.93INHIRateINHIRate440.91940.91480.97980.924120.939120.944160.929160.954200.969200.94AVG0.938AVG0.932INHIRateINHIRate540.971040.91580.931080.935120.9410120.955160.9510160.965200.9110200.92AVG0.94AVG0.93427 西安建筑科技大学硕士论文说明，当隐含层个数为时，识别率Rate最高的输入节点数为6的情况中，除了3和7之外，随着结点数量的增加，识别率的平均值逐渐降低。因此，当输入层结点个数是6时，模型识别率Rate在隐含结点个数为16时，识别率最高。然后，论文开始进行用一个具有两层隐含层的DBN模型的实验。这个DBN模型中有6个输入层结点，它的第一个隐含层有16个隐含结点，第二个隐含层结点数在3-20之中进行选择，实验结果如3.2表所示。从中可以看到，识别率Rate的最高是出现在8个隐含结点的位置。所以，本DBN模型的第二个隐含层的结点个数设置为8。表3.2DBN的第二个隐含层的结点个数对训练的影响HIDRate30.9340.9260.9580.97100.92120.93140.95160.91180.93200.94识别率Rate0.980.970.960.950.94影响0.930.92识别率0.910.90.89123隐含层的层数28图3.2隐含层的层数改变对识别率Rate的影响 西安建筑科技大学硕士论文实验中需要多少个隐含层是另一个重要的问题，同时也是一个难题。目前已经有学者做了大量的实验，得出多个隐含层比单一的隐含层有更大的优势但是，然而目前在理论上还没有给出隐含层层数的最佳取值。所以，在论文中，依然采用实验的方式来确定隐含层的层数。因为，之前的实验中已经找到了第二个隐含层中的最优结点的个数，那么依照此方法来考虑三层隐含层DBN模型的结构。图3.1中表明了隐含层的层数改变对识别率Rate的影响。对识别率Rate而言，隐含层的个数从1-3变化的过程中，DBN模型中隐含层个数为2时识别率Rate平均值最高。所以，在心脑血管疾病预测研究中，把DBN模型中隐含层的个数设置为2。通过以上实验的进行，DBN心脑血管疾病预测DBN模型也就构建完成了。输入层结点个数设置为6，把第一个隐含层结点个数设置为16，第二个隐含层的结点个数设置为8，输出结点的个数设置为1。3.3.2实验结果对比为了检验论文所构建的DBN模型的预测效果，论文利用文献[16]所提供的数据来源，对DBN模型所使用的同样数据集行BP神经网络模型的构建和预测效果比较。对与同样的数据集中的每组数据进行预测，两个模型的预测效果对比结果如图3.3所示。95%90%85%80%DBN模型75%BP模型70%65%60%55%50%第一组第二组第三组第四组第五组图3.3DBN模型和BP模型识别率对比29 西安建筑科技大学硕士论文从图3.3可以看出，对同一组数据进行预测，DBN模型的识别率普遍高于BP神经网络模型预测识别率。3.4本章小结本章的主要基于DBN算法的心脑血管疾病预测模型建立流程，以及通过实验的方式验证模型预测的准确率，并利用同样的数据建立了BP神经网络的模型进行对比，实验结果证明基于DBN的深度学习模型的预测准确率是高于传统的BP神经网络模型的。30 西安建筑科技大学硕士论文4心脑血管疾病预测系统的设计与实现4.1系统概述论文在以上各个章节中给出了心脑血管疾病的预测模型设计，在此基础之上，结合实际需求，设计并实现了心脑血管疾病预测系统原型。系统开发环境介绍：操作系统：Windows7旗舰版开发平台：VisualStudio2012开发语言：C#&C++4.2系统框架设计数据的预处理模块心脑血管疾病预测模块结果展示模块心脑血管疾病对输入的身体展示预测结检测数据进行数据集果预测对模型进行训数据的归一练化处理数据的预处理结果基于DBN模型进行心脑血管疾病模型建模图4.1系统框架图心脑血管疾病预测系统的主要功能就是根据人们日常生活中检测到的数据进行心脑血管疾病的预测，告知人们进行有效地处理，以达到减少患病率的目的。本系统主要包括三个模块：数据的预处理模块、心脑血管疾病预测模块、预测结果展示模块，如图4.1框架所示。4.3系统模块介绍4.3.1数据的预处理模块数据预处理的第一步是对HeartDiseaseDatabase进行属性选择，该数据中表31 西安建筑科技大学硕士论文示出人体相关生理数据的值，每个name属性间隔为一条数据，数据属性选择就是要从中筛选出需要的属性值。从中每条数据的76个属性中选择出要用到的14个属性，然后把处理后的数据保存到新的数据文件中。第二步是进行数据的归一化处理，系统采用的是论文3.1.2节中的Z-score标准化方法对数据集进行归一化处理。部分原始数据内容如图4.2所示：图4.2部分原始数据数据处理模块如图4.3所示，第一步为数据的属性选择，选择导入原始数据文件后，确定处理后的文件保存路径，本步完成了对数据特征的选择。第二步为数据的归一化处理，选择导入第一步属性选择的处理文件，再确定归一化文件的保存路径，完成了数据的归一化处理。32 西安建筑科技大学硕士论文图4.3数据预处理进行初步的属性选择完成后的部分数据如下图4.4所示，其中每一行数据为一个人的生理数据，数据的属性为论文3.1.1节中的说明内容。图4.4数据初步处理结果数据的归一化处理结果如图4.5所示。33 西安建筑科技大学硕士论文图4.5数据的归一化结果4.3.2心脑血管疾病预测模块心脑血管疾病预测模块如图所示，本模块包含心脑血管疾病数据的建模和心脑血管疾病的预测两个部分。图4.5心脑血管疾病预测模块第一部分数据建模采用的是论文中3.2.3节中提供的数据建模方法进行实现的，分别确定DBN模型中输入层结点的个数、隐含层的层数以及隐含层结点的个数。因为DBN模型的学习速度相对较慢，所以，采用3.2.4节中所提供的上DBN模型34 西安建筑科技大学硕士论文结合共轭梯度算法来加快DBN心脑血管疾病模型的学习速度。数据处理完成后，基于DBN模型的心脑血管疾病预测模型就建立完成了。第二部分系统通过对输入的用户数据进行预测，即可给出本模型的预测结果。4.3.3结果展示模块心脑血管疾病预测结果展示模块如图4.6所示，输入数据后，点击查看结果，等待片刻，即可查看心脑血管疾病的预测结果。本系统预测结果是一个参考值，用户可以把预测结果作为参考。图4.6预测结果展示模块4.4本章小结本章主要介绍了心脑血管疾病预测系统的各个功能模块。首先描述了本系统的设计理念以及总体框架设计图，之后分别介绍了数据处理模块、心脑血管疾病的与测模块和预测结果展示模块的运行界面。35 36 西安建筑科技大学硕士论文5总结与展望5.1论文工作总结由于生活环境的恶化，生活中处处充斥着不安全的因素，使得越来越多的人身体状况也变得越来越糟糕，所以身体健康状况已经成为最受大家关注的热门话题之一。而目前世界各国死亡率最高的疾病就是心脑血管疾病，而不管采用如何先进的医疗技术，心脑血管疾病的死亡率依然居高不下。如果能够提前预测出心脑血管疾病的患病情况，就能够提前采取相应的医疗措施，从而降低心脑血管疾病的死亡率，由此可见心脑血管疾病的预测是十分重要的一项研究。所以，论文主要针对心脑血管疾病的预测进行了相关研究。主要工作在以下几个方面：(1)心脑血管疾病数据的归一化由于人体生理数据各个属性值的物理意义和数量级是不相同的，会影响到数据分析的结果，为了消除指标之间的量纲影响，论文采用Z-score标准化方法计算出数据集中各个属性的平均值和数据集的标准差，完成数据集的归一化处，为下一步模型的构建打下了基础。(2)基于DBN的心脑血管疾病预测模型的构建结合心脑血管疾病数据的特点，构建基于DBN的心脑血管疾病预测模型，该模型的学习训练核心包括受限玻尔兹曼机网络和BP神经网络，采用贪婪逐层学习算法进行训练完成输入结点、隐含层的层数以及各个隐含层结点个数的确定，最终确定出最优的DBN预测模型结构。实验表明该模型比BP神经网络具有更好的准确率。(3)心脑血管疾病预测系统开发结合论文中构建出的DBN模型，设计并实现了心脑血管疾病的预测系统，本系统主要包括三个模块：数据的预处理模块、心脑血管疾病预测模块、预测结果展示模块，为心脑血管疾病方面的预测提供了一种辅助诊断的方法。5.2研究展望虽然在论文中对深度学习在心脑血管疾病预测技术上进行了一定的研究和探索，但是依然存在一些缺陷和不足，有待进行进一步的研究和改进。首先，由于37 西安建筑科技大学硕士论文受条件限制，论文所使用的数据集数据的数量还较少，如果在以后的研究中能够利用更加优异的条件采集到更多特征的数据，相信一定能够达到更好的预测效果。其次，本论文中仅仅构建了DBN数据模型，病没有尝试其他的深度学习模型，在以后的研究中可以进行尝试，以选取更加适合的数据模型进行预测。然后，由于深度学习在各个领域都有所应用，且取得了非常可喜的效果，相信通过论文的建模方式，深度学习在各种疾病预测方面都能取得很好的效果。38 西安建筑科技大学硕士论文参考文献[1]心血管疾病研究现状和发展趋势.张萌.http://www.docin.com/p-737352219.html.[2]兰青山.中药大健康产业发展任重道远[J].中国现代中药，2014，09:771-775.[3]陈红玲，郎六琪，刘立勋，司玉娟.远程医疗监护诊断异构系统的集成实现[J].计算机测量与控制，2014，12:3929-3931.[4]本报记者冯国梧.科技引领大健康产业[N].科技日报，2014-03-03001.[5]王蕾综述，马小川审校.以入院时的收缩压预测心脑血管疾病病死率的研究进展[J].心脏杂志，2015，02:237-240.[6]李开春，童贵显，柴静，王德斌.皖西农村地区留守村民心脑血管疾病影响因素探究[J].中华疾病控制杂志，2015，01:17-19+49.[7]李莽锋，范伟，戴家刚.现代医疗与云计算[J].电子技术与软件工程，2014，11:32-33.[8].analyticaChina2014:看新兴医疗诊断技术助力健康产业发展[J].中国医药工业杂志，2014，07:713-714.[9]BengioY，DucharmeR，VincentP，etal.Aneuralprobabilisticlanguagemodel[J].JournalofMachineLearningResearch，2003，3:1137-1155[13]CollobertR，WestonJ，BottouL，etal.Naturallanguageprocessing(Almost)fromscratch[J].JournalofMachineLearningResearch，2011，12:2493-2537[10]SocherR，LinC，NgA.ParsingnaturalscenesandnaturallanguagewithrecursiveneuralNetworks[C]\Procofthe28thIntConfonMachineLearning.Garmany:InternationalMachineLearningSociety，2011[11]谢华.血脂指标联合检测在心脑血管疾病预测中的价值[J].中国医药指南，2012，13:231-232.[12]朱理敏，王宪衍.脉压与心脑血管疾病危险因子[J].中华心血管病杂志，2001，09:64-65.[13]冯变玲，杨世民，尤海生，蓝夏璐，魏芬.基于数据挖掘技术的心脑血管用药不良反应与药品品种间聚类分析[A].中国药学会(ChinesePharmaceuticalAssociation)、天津市人民政府.2010年中国药学大会暨第十届中国药师周论文集[C].39 西安建筑科技大学硕士论文中国药学会(ChinesePharmaceuticalAssociation)、天津市人民政府:，2010:5.[14]冯占武，丛淑珍，李康，吴丽桑，陈青，甘科红.甲状腺单发结节超声特征的Logistic回归分析[J].中国医学影像技术，2010，01:66-68.[15]耿中泽.数据挖掘在计算机辅助诊断中的应用研究[D].广州：南方医科大学，2008.[16]庞显涛.基于BP神经网络的心脏病预测研究与实现[D].长春：吉林大学，2012.[17]HintonG，SalakhutdinovR.Reducingthedimensionalityofdatawithneuralnetworks[J].Science，2006，313(504).Doi:10.1126/science.1127647[18]林妙真.基于深度学习的人脸识别研究[D].大连：大连理工大学，2013.[19]吕启，窦勇，牛新，徐佳庆，夏飞.基于DBN模型的遥感图像分类[J].计算机研究与发展，2014，09:1911-1918.[20]杜骞.深度学习在图像语义分类中的应用[D].武汉：华中师范大学，2014.[21]梁军，柴玉梅，原慧斌，昝红英，刘铭.基于深度学习的微博情感分析[J].中文信息学报，2014，05:155-161.[22]晁静.基于DBN的汇率预测研究[D].南京：南京大学，2012.[23]夏春江，王培良，张媛.基于深度学习的木材含水率预测[J].杭州：杭州电子科技大学学报(自然科学版)，2015，01:31-35.[24]梁军，柴玉梅，原慧斌，昝红英，刘铭.基于深度学习的微博情感分析[J].中文信息学报，2014，05:155-161.[25]陈先昌.基于卷积神经网络的深度学习算法与应用研究[D].杭州：浙江工商大学，2014.[26]MarkoffJ.Howmanycomputerstoidentifyacat?[N]TheNewYorkTimes，2012-06-25[27]MarkoffJ.Scientistsseepromiseindeep-learningprograms[N].TheNewYorkTimes，2012-11-23[28]余凯，贾磊，陈雨强，徐伟.深度学习的昨天、今天和明天[J].计算机研究与发展，2013，09:1799-1804.[29]由清圳.基于深度学习的视频人脸识别方法[D].哈尔滨：哈尔滨工业大学，2013.[30]王山海，景新幸，杨海燕.基于深度学习神经网络的孤立词语音识别的研究[J].计算机应用研究，2015，8:.40 西安建筑科技大学硕士论文[31]LiYanhong.Tobelieveinthepoweroftechnology[R].Beijing:Baidu，2013(inChinese)(李彦宏.2012百度年会主题报告:相信技术的力量[R].北京:百度，2013)[32]10BreakthroughTechnologies2013[N].MITTechnologyReview，2013-04-23[33]RumelhartD，HintonG，WilliamsR.Learningrepresentationsbyback-propa-gatingerrors[J].Nature，1986，323(6088):533-536[34]HintonG，SalakhutdinovR.Reducingthedimensionalityofdatawithneuralnetworks[J].Science，2006，313(504).Doi:10.1126/science.1127647[35]DahlG，YuDong，DengLi，etal.Context-dependentpre-traineddeepneuralnetworksforlargevocabularyspeechrecognition[J].IEEETransonAudio，Speech，andLanguageProcessing.2012，20(1):30-42[36]JaitlyN，NguyenP，NguyenA，etal.Applicationofpretraineddeepneuralnetworkstolargevocabularyspeechrecognition[C]\ProcofInterspeech，Grenoble，France:InternationalSpeechCommunicationAssociation，2012[37]潘慧明.基于医学影像的心血管疾病辅助诊断方法研究[D].西安：西安电子科技大学，2005.[38]陈轶.机器学习技术在医疗数据挖掘中的应用[J].电子测试，2015，03:93-95.[39]颜延，秦兴彬，樊建平，王磊.医疗健康大数据研究综述[J].科研信息化技术与应用，2014，06:3-16.[40]狄晓敏.多疾病共同危险因素挖掘与患病预测的研究[D].太原：太原理工大学，2013.[41]吴载斌，王斌会.数据挖掘中的预测及其应用[J].统计与预测，2002，01:34-36.[42]刘彩红.BP神经网络学习算法的研究[D].重庆：重庆师范大学，2008.[43]黄丽.BP神经网络算法改进及应用研究[D].重庆：重庆师范大学，2008.[44]高鹏毅.BP神经网络分类器优化技术研究[D].武汉：华中科技大学，2012.[45]刘天舒.BP神经网络的改进研究及应用[D].哈尔滨：东北农业大学，2011.[46]LargeScaleVisualRecognitionChallenge2012(ILSVRC2012)[OL].[2013-08-01].http:\www.image-net.orgchallengesLSVRC2012[47]XuW，RudnickyA.Canartificialneuralnetworklearnlanguagemodels[C]\ProcofIntConfonStatisticalLanguageProcessing.2000:1-13[48]BengioY，DucharmeR，VincentP，etal.Aneuralprobabilisticlanguagemodel[J].41 西安建筑科技大学硕士论文JournalofMachineLearningResearch，2003，3:1137-1155[49]CollobertR，WestonJ，BottouL，etal.Naturallanguageprocessing(Almost)fromscratch[J].JournalofMachineLearningResearch，2011，12:2493-2537[50]SocherR，LinC，NgA.ParsingnaturalscenesandnaturallanguagewithrecursiveneuralNetworks[C]\Procofthe28thIntConfonMachineLearning.Garmany:InternationalMachineLearningSociety，201142 西安建筑科技大学硕士论文攻读硕士学位期间主要研究成果攻读硕士期间发表的学术论文[1]LiliDong，ZongshuaiMa，WeiDong，XiangZhang.ResearchonpsychologydataclusteringalgorithmbasedonCUDA.AppliedMechanicsandMaterials[J](EI检索号：20143418083205)攻读硕士期间参与的科研项目：[1]矿区水情水害预警系统[2]西安建筑科技大学教师工资查询系统[3]云计算技术在医疗健康信息化建设中的应用43 44 西安建筑科技大学硕士论文致谢在本论文完成之际，我的研究生生涯也即将画上句号。在这三年中，我得到了很多人的指导、帮助和鼓励。借此机会，对曾经在学习和生活中帮助和关心我的所有人表示衷心的感谢。首先，感谢我的导师董丽丽教授对我的悉心教导。在攻读硕士学位的三年时间里，董老师无论实在学习还是在生活生都给了我很大的帮助。董老师专业知识渊博，治学态度严谨，工作作风精益求精，为人谦和，平易近人，这些也都深深地影响了我。从论文的选题到写作以及修改，都伴随着董老师悉心耐心地指导和帮助，最后才使得我的论文完成。在此，对董老师表示最诚恳的感谢！感谢张翔老师，在学习上对我的指导和帮助，以及在论文写作过程中提出的宝贵意见。感谢我的学长董玮在我进入实验室之后对我学习上的指导。感谢实验室赵繁荣、闫龙、刘欣倩、朱雨洁、尚勃、刘乐、曹超凡、田文雪、袁玉美、鲁志滔等同学，在实验室的这段时间，他们给了我很大的帮助。感谢我的研究生期间的所有授课老师，感谢我的研究生同学和室友，他们陪我度过了三年的研究生生活，使我的研究生生活充满了无穷的乐趣。最后，要感谢我的父母和家人，没有他们的支持和帮助，我不可能安安心心的在这里读书求学。45