基于机器学习方法的前列腺病理切片图像识别

《基于机器学习方法的前列腺病理切片图像识别》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

摘要前列腺癌是男性生殖系统最常见的恶性肿瘤，被视为危害中老年男性健康的主要原因之一，只有早发现、早治疗，才不会错过治疗的最佳时机。前列腺病理切片图像自动分析的核心算法，已成为国内外学者的研究热点。因此，研究前列腺病理切片的自动分类算法，对开发前列腺计算机辅助诊断系统，辅助医生诊断，有很大的帮助。为提高医生工作效率和防止前列腺病理图像人为标记失误，本文提出了一种基于深度学习的前列腺病理图像组织来源的判断算法。该算法首先对前列腺病理图像按图像块进行随机采样，并通过白化等预处理后，用深度学习算法对这些采样图像块进行无监督的学习，然后将学习到的特征作为Softmax回归分类器的输入，对随机采样的图像块分类,最后利用ROC(ReceiverOperatingCharacteristic)曲线，选取合适的阈值，对整幅图像进行分类，实现对前列腺病理图像组织来源的判断。在前列腺癌病理图像识别方面，癌变前列腺病理图像空间整体结构相比正常前列腺病理图像有以下差异：前列腺间质结构紊乱，方向不规则；腺腔区域变小，甚至无腺腔；细胞核散乱分布。本文利用基于空间金字塔匹配(SpatialPyramidMatching,SPM)的词袋模型(BagofWords,BoW)方法，对前列腺病理图像空间整体信息进行描述，最后用SVM分类器进行分类。实验结果表明，本文提出的前列腺病理切片图像分析方法是可行的，具有较好的鲁棒性。关键词：前列腺；机器学习；深度神经网络；空间金字塔I AbstractAsoneofthecommoncanceramongtheelderlymen,prostatecancerismainreasonwhichharmthehealthoftheelderlymen.Earlydetectionandearlytreatmentarehelpfultopatient.AutomaticanalysisalgorithmsofprostatepathologicalbiopsyimagehasbecomethefocusofDomesticandforeignscholars.ThedevelopmentofProstatecomputeraideddiagnosissystemisverymeaningful,whichcanbeautomaticclassificationofprostatepathologicalbiopsyimageandAuxiliarymedicaldiagnosis.Inordertoimproveefficiencyandpreventprostatepathologicalimagefromartificiallymarkingbymistake,ThispaperpresentsamethodbasedonDeepLearningforprostatepathologicalimagejudge.Thisalgorithmcanbeusedtodeterminewhetherthepathologyimagecomesfromtheprostatetissue.Inthisalgorithm,wecansample3030imageblockinprostatepathologicalimagesrandomlyasinputdata.Atfirst,wepreprocessimageblockwithZCAWhiteningtogetridoftheredundantdata.ThenDeeplearningalgorithmsareusedtosampleimageblockwithunsupervisedlearning.Featuresgotatlaststepareastheinputforsoftmaxregressionclassifier,classifyingimageblockofprostatepathologicalimages.Finally,weclassifythewholeprostatepathologicalimagebasedonROCcurves.Inprostatecancerpathologicalimagerecognition,prostatecancerpathologicalimageareobviouschangesrelativelytothenormalprostatepathologicalimageinglobalstructuralinformation.1.stromastructuredisorderandstromadirectionisirregular；2.Glandlumenareabecomesmaller,evendisappear；3.Thenucleiarescattereddistribution.ThispaperpresentsamethodtodescribespatialinformationofprostatepathologicalimagebasedonSpatialPyramidMatchingofBoWmodel.Finally,werecognizeprostatecancerpathologicalimagebySupportVectorMachine.Theexperimentalresultsshowthatprostatepathologicalimageanalysismethodproposedinthispaperisfeasibleandgoodrobustness.Keywords:Prostate;MachineLearning;DeepNeuralNetwork;SpatialPyramidII 目录摘要...........................................................................................................................................IABSTRACT...............................................................................................................................II第一章绪论..............................................................................................................................11.1课题背景及意义.............................................................................................................11.2前列腺形态组织特征简述.............................................................................................11.2.1正常的前列腺组织学特征......................................................................................11.2.2前列腺癌的病理特征..............................................................................................21.3国内外研究现状.............................................................................................................31.4机器学习方法介绍.........................................................................................................31.4.1深度学习简介..........................................................................................................41.4.2支持向量机简介......................................................................................................51.5本文研究内容和章节安排.............................................................................................6第二章深度学习的基本方法..................................................................................................72.1稀疏自编码.....................................................................................................................72.1.1神经元......................................................................................................................72.1.2神经网络模型..........................................................................................................82.1.3反向传播算法........................................................................................................102.1.4稀疏自编码的含义................................................................................................122.2受限玻尔兹曼机（RESTRICTBOLTZMANNMACHINE）...............................................152.2.1受限玻尔兹曼机的基本模型................................................................................152.2.2基于对比散度的RBM快速学习算法.................................................................172.3栈式自编码神经网络的训练.......................................................................................202.3.1概述........................................................................................................................202.3.2逐层训练................................................................................................................212.3.3微调栈式自编码神经网络....................................................................................212.4深度信念网络的训练....................................................................................................222.4.1训练过程概述........................................................................................................222.5本章小结.......................................................................................................................24III 第三章基于深度学习的前列腺病理图像判断....................................................................253.1非监督学习...................................................................................................................263.1.1图像块的采集........................................................................................................263.1.2白化........................................................................................................................263.1.3非监督学习............................................................................................................273.2SOFTMAX回归分类器....................................................................................................283.2.1代价函数................................................................................................................293.2.2权重衰减................................................................................................................303.3基于ROC曲线的全局判断.........................................................................................313.3.1ROC曲线的主要作用............................................................................................313.3.2ROC曲线的评价指标............................................................................................313.4实验结果.......................................................................................................................323.4.1基于图像块的分类结果........................................................................................323.4.2基于ROC曲线的全局分类结果..........................................................................333.5本章小结.......................................................................................................................35第四章基于空间金字塔的前列腺癌病理图像的识别........................................................364.1SIFT特征简介..............................................................................................................374.1.1构建尺度空间........................................................................................................374.1.2特征点检测并过滤................................................................................................384.1.3特征点确定方向....................................................................................................394.1.4生成SIFT特征向量.............................................................................................404.1.5DenseSIFT(密集的尺度不变特征)......................................................................404.2基于BOW的前列腺病理图像表示............................................................................414.2.1BoW简介...............................................................................................................414.2.2基于BoW的前列腺病理图像表示.....................................................................414.3基于SPM-BOW的前列腺病理图像表示...................................................................424.3.1金字塔匹配核........................................................................................................424.3.2基于SPM-BoW模型的前列腺病理图像表示...................................................434.4基于支持向量机的分类结果.......................................................................................434.4.1基于BoW模型的前列腺癌病理图像分类实验................................................43IV 4.4.2基于SPM-BoW模型的前列腺癌病理图像分类实验.......................................454.5本章小结.......................................................................................................................45总结与展望..............................................................................................................................47参考文献..................................................................................................................................49攻读硕士学位期间取得的研究成果......................................................................................52致谢........................................................................................................................................53V 第一章绪论第一章绪论1.1课题背景及意义最近几十年，随着人们生活水平的提高，健康越来越受到人们的重视，是当前社会最为关注的话题之一。男性生殖系统最常见的恶性肿瘤就是前列腺癌，前列腺癌在西方发达国家的发病率以及死亡率仅次于肺癌，位居男性癌症死亡的第二位。中国则是一直被认为前列腺癌发病率较低的国家，所以在前列腺癌的诊断和研究方面落后于国际水平，同时在国内也落后于肝癌、胃癌、乳腺癌等相对高发病率肿瘤的研究。但近年来，饮食、生活习惯西化以及受到人口老龄化等因素的影响，我国前列腺癌的发病率逞上升[1]趋势，逐步成为威胁中老年男性身心健康的头号杀手。前列腺目前有多种检查方法，其中包括直肠检查、显微镜检查、CT检查、超声检查、穿刺活检等。其中前列腺穿刺活检能提供细胞学诊断依据，对于早期前列腺癌的诊断具有重要意义。前列腺病理切片图像就是通过穿刺活检取得组织之后，对组织切片用H&E（Hematoxylin&Eosin，苏木精&伊红）染色，再用数码相机通过显微镜拍摄取得的。医生就是通过对组织切片图像分析，结合自己长期积累的临床诊断经验来判断组织切片图像是否有癌变。这种人工的诊断方法，对医生的专业知识和从业经验都有极高的要求，而且也易受阅片者主观情绪和疲劳阅片等因素的影响。对同一个前列腺组织切片图像，不同的医生可能会有不同的诊断结论，所以这种高度依赖人为因素的诊断过程具有主观差异性。医生的一小点失误都可能会给病人带来严重的后果。近年来，随着计算机技术以及机器学习方法的发展，计算机辅助诊断(CAD)系统成为临床辅助诊断的一个新趋势。CAD系统对于病理诊断有许多优点:1)CAD系统一旦核心算法确定，系统的准确率只与内部核心的算法有关，与人为因素无关，同一幅图像不管诊断多少次，都会是相同的结果；2)CAD系统能够捕捉到切片的所有区域，避免出现遗漏；3)CAD系统作为辅助，对提高医生诊断的敏感性和特异性有很大帮助；4)CAD系统能让医疗水平欠发达的地区，也能享受到科技进步所带来的好处。所以，越来越多的专家、学者投入到这一领域中来，前列腺辅助诊断系统的核心算法也成为了研究的热点。1.2前列腺形态组织特征简述1.2.1正常的前列腺组织学特征正常的前列腺组织有四种明显的结构特征：1)分叶结构。腺腔和腺叶分割为小叶；1 华南理工大学硕士学位论文2)大腺腔结构。腺腔内乳头突起使得腺腔呈梅花状结构,腺腔体积较大；3)腺腔上皮由内外层细胞构成双层的结构；4）腔内有淀粉样小体。上述结构特征一般不出现在有病变的前列腺组织中。因此，上述四种结构特征弱化甚至消失就是前列腺癌诊断的重要依[2]据。正常的前列腺组织对应的切片图像特征为:有较大的腺腔区域，且结构规则有凸起；间质纹理方向一致；细胞核沿腺腔周围排列。图1-1正常的前列腺病理切片图像1.2.2前列腺癌的病理特征有癌变的前列腺组织主要有以下特征：腺体结构的紊乱，浸润现象，细胞核的异型。前列腺癌病理图像对应的特征为：腺腔逐渐较小，且腺腔的边界变得平滑，没有凸起；间质纹理比较紊乱，方向不一致；细胞核变大且数量明显变多。图1-2前列腺癌病理切片图像2 第一章绪论1.3国内外研究现状随着计算机医学图像处理技术的发展，在病理分析和细胞组织形态等研究工作中，数字图像里处理技术的作用越来越大，如何将图像处理、模式识别、机器学习等技术最新的发展运用到医学图像上，已成为当前社会研究的热点之一。在国内，杨振森等人提出了前列腺直肠超声图像中纹理特征的提取方法，应用于前[3]列腺癌的早期诊断，识别准确率达到90%以上。李欣等人应用图像分析仪（LeicaQ5700）采集显微镜图像，并对良性前列腺增生和正常前列腺组织成分的病理学改变关[4][5]系进行探讨。徐向民等人提出了一种基于Gleason分数的前列腺病理图像分类方法。[6,7,8]邢晓洁、黄宇生、李敏等人从前列腺病理切片图像形态学上的意义入手，提取出腺腔、细胞核、间质等区域并分析其形态学方面的特征，利用相关分类算法进行分类，取得了不错的效果。总体来说，目前国内在前列腺病理切片图像研究方面还处于起步阶段，相关技术不太成熟。[9]在国外，QuocV.Le等人在2012年提出了一种独立子空间分析的方法来对具有肿瘤结构的组织切片图像进行分类，通过学习一个两层的非线性网络来表示子空间的结构特征，获得了比专家设计表示更好的结果，给病理图像研究带来了新的思路。另外一类思路就是基于常规的模式识别的流程，先通过前列腺病理切片图像提取病理对象的特征，然后优化特征组合，最后用分类器对图像分类。目前国外的研究人员和学者主要工作在特征集类别、分类器选择以及前列腺癌的分类策略方面。Cheng-HsiungLee等人提出了一种自动给前列腺病理图像分级的方法，该方法是基于分形维数来分析图像的灰度[10]变化和纹理复杂度，从而进行特征提取。AliTabesh等人从前列腺病理切片图像中，提取了颜色直方图、分形维数、分形编码特征、小波特征、颜色、形状和纹理等多特征[11]融合，用于前列腺癌诊断和Gleason分级，分别取得了94.5%和77.6%的准确率。ShivangNaik等人提出了通过交叉三个不同尺度的图像信息，来对病理图像进行分级，分别是(1)基于像素的低层次信息，(2)基于像素的对象检测的高层次信息，(3)基于组织[12]学结构的位置信息。1.4机器学习方法介绍近年来，计算机技术和机器学习方法都得到极大的发展，机器学习在图像上的应用也取得了相当大的突破。特别是在2012年ImageNet目标识别竞赛上，由GeoffHinton团队实现的基于神经网络的深度学习的算法以85%的准确率获得最佳算法，将历届最好3 华南理工大学硕士学位论文成绩提高了11%，这引起了学术界和工业界的又一波机器学习的热潮。本文在前列腺病[26]理切片图像的识别方面采用了深度学习算法和支持向量机（SupportVectorMachine，[27]SVM）分类算法。本小节之后的内容将对深度学习算法和SVM算法作简要介绍。1.4.1深度学习简介深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像、声音和文本。深度学习是一种无监督学习。深度学习的概念最开始来自于人工神经网络的研究。深度学习一般通过组合较低层的特征形成更为抽象的高层表示，从而发现数据特征的分布式表示,如图1-3所示。深度学习算法是基于分布式表达(在上世纪80年代和连接机制一起被引入)的方法。分布式表达所基于的假设是所观测到的数据是由多种因素（并不是所有都被观测到）交互产生的，也就是从其他因子组合中学习一个特殊的因子，这样往往可以推广到其他不可见因子的组合。深度学习加入了这些因子被组织成多层的这个假设（被视为一个先验的未知数据生成过程），对应了不同层次的抽象或组成：高层次的表示是通过改造低层次的表示来获得的。这些因子之间的关系可以被看作类似字典或维基百科中词条之间的关系，尽管这些因子可能是数值的（比如人脸在图像中的位置）或类别的（比如是否是人脸），而在字典中的条目则是纯粹的符号。适当数量的层数和结构相关的因子，也是深度学习算法希望从样本中发现的。深度学习算法也涉及其他重要的思想，对应于这些未知潜在因子的广泛先验信念。关于监督学习的有趣任务（比如，给定一张图像，预测出某人的脸是否出现在图像中），一个重要的先验信息就在因子中，解释了再输入的观测变化（比如图像），有一些因子是和预测偏好高度相关的。这里还有一个关于半监督学习特别的例子，允许程序利用大量的无标记数据（图像中是否存在人脸和此人的身份都是未知的）。许多深度学习算法实际上都是非监督学习的框架，比如用许多未标记的图像，并从这些图像中找他一组关于这些图像的好的表示。4 第一章绪论[13]图1-3深度学习的特征层级深度学习在图像分类、语音识别、手写识别等方面都取得了比较好的效果，甚至在一些标准数据库上的实验效果已经超过了传统模式识别的方法。1.4.2支持向量机简介SVM广泛地应用于统计分类以及回归分析，是一种监督式的学习方法，SVM的核[27,31,32]心内容是在1992到1995年之间提出的。在过去很长一段时间内，SVM是继神经网络之后又一研究热点。SVM属于一般化线性分类器，也可以被认为是提克洛夫规范化（TikhonovRegularization）方法的一个特例。这类分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区，因此支SVM也被称为最大边缘区分类器。SVM是将较低维的向量映射到一个更高维的空间里，在这个高维空间里求得一个最大间隔超平面。在分开数据样本的超平面的两边得到两个互相平行的超平面，分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。SVM算法在人脸识别、文本识别、三维物体识别以及遥感图像分析等方面的都有较好的应用。SVM算法在过去几十年的研究中已经相对成熟，所以SVM算法并不是本5 华南理工大学硕士学位论文文的研究重点。1.5本文研究内容和章节安排本文针对上述的问题，主要工作集中在前列腺组织识别和前列腺癌的识别，并对深度学习方法进行基本全面的介绍。本文研究内容如下：1)对本文所使用的方法(深度学习)进行了基本全面的介绍。2)研究前列腺病理图像组织来源的判断算法，利用深度学习的方法，学习出前列腺病理图像局部纹理的不变特征，用于前列腺组织的识别。3)研究前列腺癌病理图像的识别算法。对应章节组织如下：第一章主要介绍了本文选题的背景及意义，前列腺组织形态基本特征，本文相关课题在国内外研究的现状以及本文所使用的基本方法。第二章主要介绍了深度学习的基本方法，分别介绍稀疏自编码和受限玻尔兹曼机的概念、模型以及学习方法，并介绍了如何通过稀疏自编码和受限玻尔兹曼机构建深度网络，同时介绍了深度网络训练方法以及如何优化等问题。第三章主要进行前列腺病理图像的组织来源的判断。提出了基于深度学习的前列腺病理图像的识别算法，首先在前列腺病理图像上随机采集多个方块，对这些方块作白化处理，然后将这些方块以像素作为输入，通过深度网络进行无监督的学习，学习出这些前列腺病理图像方块的不变特征，并用Softmax回归分类器对图像块进行分类预测，最后提出了基于ROC曲线全局判断方法。第四章主要进行前列腺癌病理图像的识别。这章是基于传统模式识别技术的套路，先对输入图像提取DenseSIFT特征，然后针对正常前列腺病理图像和癌变前列腺病理图像空间信息的差异，用基于空间金字塔的词袋模型前列腺病理图像进行整体描述，最后用SVM分类器进行分类。第五章是对本文的总结与展望。6 第二章深度学习的基本方法第二章深度学习的基本方法深度学习算法需要构建深度的架构，有许多方法都可以用来进行构建深度架构，常用的有稀疏自编码（SparseAutoencoder）、受限玻尔兹曼机（RestrictBoltzmannMachine）、稀疏编码（SparseCoding）等。本章详细介绍前面两种方法，并分别介绍基于稀疏自编码和受限玻尔兹曼机的深度网络的构建和训练。其中基于稀疏自编码的深度网络称作栈式自编码（StackedAutoencoders）神经网络，基于受限玻尔兹曼机的深度网络被称作深[16]度信念网络（DeepBeliefNetworks，DBN）。2.1稀疏自编码稀疏自编码[29]能有效构建出深度神经网络，从而对输入数据进行深度学习。稀疏自编码能够学习出输入数据的稀疏表示，达到降维的目的，该过程为无监督的学习。2.1.1神经元为了模拟人脑处理信息的特点，就用人工神经元类比生物神经元，人工神经元主要有以下基本特征：1.神经元之间的联接强度决定信号传递的强弱；2.神经元之间的联接强度可以随训练改变；3.信号可以是起刺激作用，也可以是抑制作用；4.一个神经元接受信号的累计效果决定该神经元的状态；5.每个神经元可以有一个阈值。对于样本集((),())xiyi，神经网络算法提供了一种复杂又非线性的假设模型hxWb,()，它具有参数W，b，可以用这两个参数来拟合我们的数据。神经元是神经网络中最基本的单元。为了描述神经网络，本节先从最简单的神经网络介绍起，这个神经网络仅由一个神经元构成，如下图所示：图2-1神经元这个神经元是一个以x,x,x及常数项1为输入值的运算单元，其输出为：1233ThWb,()xfWx()f(Wxiib)（2-1）i17 华南理工大学硕士学位论文其中函数fR:R称为激活函数。激活函数将选用Sigmoid函数：1fz()（2-2）1exp(z)其实，这个神经元的输入输出的映射关系就是一个逻辑回归函数。图2-2激活函数曲线对于公式(2-2),f(z)导数就如下所示，后面在求参数梯度的时候会用到。fz'()fz()(1fz())（2-3）2.1.2神经网络模型神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用来探索数据的模式。下图就是一个简单的神经网络：图2-3基本的神经网络示模型8 第二章深度学习的基本方法如上图所示，使用圆圈来表示神经网络的输入，其中“+1”的圆圈称为“偏置单元”，也就是常数项。神经网络最左边的一层是输入层，最右的一层是输出层。中间所有节点组成的一层被称作隐藏层，因为我们不能在训练集中观测到它们的值。同时可以看到，上图所表示的神经网络有3个输入单元(不包括常数项)，3个隐藏单元以及1个输出单元。用nl表示网络的层数，因此上图中nl＝3，将第l层记为l，于是L1就是输入层，输L。神经网络的参数1122W()l第l层第j号单元与出层记为n(,)(WbWbWb,,,)，其中ijl()l第l+1层第i号单元之间联接的参数，bi是第l层的偏置项与l+1层的第i号单元之间(1)33(2)13的参数。其中WR，WR。用sl表示第l层的节点数。()l()l用ai表示第l层第i号单元的输出值。当l＝1时，axii，也就是第i个特征的输入值。对于给定参数集合W,b，我们的神经网络就按照函数hxWb,()计算输出结果。图2-3的神经网络的计算过程就由以下步骤表示：(2)(1)(1)(1)(1)afWx()WxWxb11111221331(2)(1)(1)(1)(1)afWx()WxWxb22112222332（2-4）(2)(1)(1)(1)(1)afWx()WxWxb33113223333(3)(2)(2)(1)(2)(1)(2)(2)h()xafW(aWaWab)Wb,11111221331()l用zi表示第l层第i单元输入值的加权总和（包括偏置单元），这样我们就可以找到一种更简洁的表示法。这里将激活函数f(.)扩展为用向量来表示，那么上面的等式我们就可以表示为：(2)(1)(1)zWxb(2)(2)afz()（2-5）(3)(2)(2)(2)zWab(3)(3)h()xafz()Wb,(1)以上步骤叫作正向传播。之前我们用ax表示输入层的激活值，那么第l层的()l(1)l激活值更通用的表示就是a，而第l+1层的激活值a就可以由以下方式计算得到：(1)l()l()l()lzWab（2-6）(1)ll(1)afz()将参数矩阵化，使用矩阵向量运算，我们就可以利用线性代数的优势对神经网络进行快速地求解。9 华南理工大学硕士学位论文除此之外，还有许多其他结构的神经网络，包括具有多个隐藏层的神经网络。最常见的一个例子是nl层的神经网络，第1层是输入层，第nl层是输出层，中间的每个l层与l+1层紧密相联。这种模式下，要计算神经网络的输出结果，我们可以通过之前的等式描述的那样，进行正向传播，逐一计算第L2层的所有激活值，然后是第L3层的激活值，以此类推，直到第Ln层。这是一个前馈神经网络，这种联接图并没有闭环或回路。l神经网络也可以有多个输出单元。比如，以下神经网络有两层隐藏层：L2及L3，并在L4层中有两个输出单元。图2-4多个输出单位的神经网络()i2要求解这种神经网络就需要样本集(x(i),y(i))，其中yR。如果想预测的输出是多个的，那这种神经网络是很适用的。2.1.3反向传播算法[33]反向传播算法是一种监督学习算法，常被用来训练多层感知机。反向传播算法主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。激励传播环节包含两个步骤：1.(前向传播阶段)将训练输入送入网络以获得激励响应；2.(反向传播阶段)将激励响应同训练输入对应的目标输出求差，从而获得隐层和输出层的响应误差。权重更新则按以下步骤进行更新：1.将输入激励和响应误差相乘，从而获得权重的梯度；2.将这个梯度乘上一个比例并取反后加到权重上。(1)(1)()mm()假设有一个固定的样本集{(x,y),...,(x,y)}，它包含m个样本。可以用批量梯度下降法求解神经网络算法。对于单个样本(x,y)，其代价函数为：10 第二章深度学习的基本方法12JWbxy(,;,)h()xy（2-7）Wb,2给定一个包含m组样本的数据集，于是可以定义整体代价函数为：1mnl1slsl1()i()i()2lJWb(,)[JWbx(,;,y)](Wji)mi12l1i1j1mnl1slsl1（2-8）112()2l[(hWb,()xy)](Wji)mi122l1i1j1以上公式中的第一项J(W,b)是一个均方差项。第二项是一个规则化项，其目的是减小权重，防止过度拟合。权重衰减参数λ用于控制公式中两项的相对重要性。这里一共有两个代价函数，J(W,b;x,y)是针对单独样本计算的方差代价；J(W,b)是整体代价函数，它包含权重衰减项。我们的目标是针对W和b求其函数J(W,b)的最小值。为了训练我们的神经网络，我()l()l们需要将每一个参数Wij和bi初始化为一个很小的、接近零的随机值（可以用0均值，方差较小的正态分布进行初始化），之后对目标函数使用诸如批量梯度下降法的最优化算法。因为J(W,b)是一个非凸函数，梯度下降法很可能是局部最优解；但是，在实际应用中，梯度下降法通常能得到令人满意的结果。如果所有参数都用相同的值作为初始值，那么所有隐藏层单元最终会根据输入值得到相同的函数。随机初始化的目的是使对称失效。参数W和b按如下方法进行梯度下降法迭代更新：()ll()WWJWb(,)ijij()lWij（2-9）()ll()bbJWb(,)ii()lbi其中α是学习速率，其中关键步骤是计算偏导数。对于反向传播算法，它是计算偏导数的一种有效方法。下面介绍如何使用反向传播算法来计算()lJWbxy(,;,)和()lJWbxy(,;,)，这两Wbiji项是针对单独样本(x,y)的代价函数J(W,b;x,y)的偏导数。要求出整体代价函数J(W,b)的偏导数，就必须求出每个样本代价函数J(W,b;x,y)的偏导数：11 华南理工大学硕士学位论文m1()i()i()l()llJWb(,)[()JWbx(,;,y)]WijWijmi1Wij（2-10）m1()ii()()llJWb(,)()JWbx(,;,y)biimi1b（2-10）中第一行比第二行多出一项，是因为权重衰减是作用于W而不是b。反向传播算法的思路如下：给出一个样本(x,y)，首先进行前向传导运算，计算出通过网络的所有激活值，包括hxWb,()的输出值。之后，针对第l层的每一个节点i，我们()l想要计算出残差i，该残差表明了该节点对最终输出值的残差产生了多少影响。对于最终的输出节点，可以直接得出网络产生的激活值与实际值之间的差距，将这个差距定()nl，第n层代表的是输出层。将基于节点残差的加权平均值计算()l，这些节点义为ili()l以ai作为输入。下面将给出反向传播算法的细节：1.进行前向传导计算，得到L2,L3…直到输出层Lnl的激活值。2.针对第层，也就是输出层，每个输出单元i，残差如下式所示：()nn12()()nlh()xy(yal)fz'(l)（2-11）i()nWb,iiizl2i3.第l层中第i个节点的残差计算方法如下，其中lnl1,nl2,nl3,...,2：sl1()l()l(1)l()li(Wjij)'(fzi)（2-12）j14.计算参数的偏导，如下式所示：()ll(1)JWbxy(,;,)a()ljiWij（2-13）(1)lJWbxy(,;,)()libi2.1.4稀疏自编码的含义神经网络也可以用于无监督的学习中,对特征进行无监督的学习。在监督学习中，(1)(2)(3)训练样本是有类别的。假设有一个训练样本集合{x,x,x,}没有类别标签，其中()inxR。自编码神经网络是一种非监督的学习算法，它需要用到反向传播算法来求解其参数的梯度。之所以被称作自编码，是因为它将每个样本的输出值设为输入值，即()ii()yx。下图为一个自编码神经网络，带3个隐藏单元。12 第二章深度学习的基本方法图2-5自编码神经网络从上图可以看出自编码神经网络主要是为了学习一个hWb,()xx的函数，等效于逼近一个单位函数，从而使得输出xˆ近似等于输入x。单位函数虽然看起来不太具有学习意义，但是为自编码神经网络加入某些限制，比如限定隐藏单元的数量，就可以从输入数据中发现一些有意义的联系。假设某个自编码神经网络的输入x是一个16×16图像的256像素值，于是n=256，其隐层L2中有128个隐藏神经元s2128。输出也是256维的yR。由于只有128个隐藏单元，所以自编码神经网络学习的是输入数据的压缩表示，因为它(2)128需要从128维的隐藏神经元激活向量aR中重构出256维的像素值输入x。如果所有输入数据是完全随机的，假设每一个输入xi都是一个跟其它特征完全无关的独立同分布高斯随机变量，那么这一压缩表示将会非常难以学习。但是如果输入数据之间有特定的结构，比如某些输入特征是相关的，那么该算法就可以发现输入数据中的相关性。因此，自编码神经网络通常和主成分分析（PCA）等效，都能学习到一个输入数据的低维表示。上文的分析都是基于隐藏神经元数量较小的情况，但是即使隐藏神经元的数量较大，仍然通过给自编码神经网络施加一些其他的限制条件来挖掘输入数据中的结构。具体来说，如果我们给隐藏神经元加入稀疏性限制，那么自编码神经网络即使在隐藏神经元数量较多的情况下仍然可以发现输入数据中一些有趣的结构。稀疏性数学意义可以按如下解释，如果当神经元的输出接近于1的时候我们认为它被激活，而输出接近于0的时候认为它被抑制，那么使得神经元大部分的时间都是被抑制的限制则被称作稀疏性限13 华南理工大学硕士学位论文制。(2)注意到aj表示隐藏神经元j的激活度，但是这一表示方法中并未明确指出哪一个输(2)入x带来了这一激活度。所以我们将使用axj()来表示在输入为x情况下，自编码神经网络隐藏神经元j的激活度。令m1(2)()iˆax()（2-14）jjmi1上式表示隐藏神经元j的平均活跃度，在训练集上取平均。我们可以近似的加入一条限制ˆ（2-15）j其中，是稀疏性参数，通常是一个接近于0的较小的值（比如0.05）。也就是说，我们想要让隐藏神经元j的平均活跃度接近0.05。为了满足这一条件，隐藏神经元的活跃度必须接近于0。为了实现这一限制，我们将会在我们的优化目标函数中加入另外一个惩罚因子，而这一惩罚因子将惩罚那些ˆj和有显著不同的情况从而使得隐藏神经元的平均活跃度保持在较小范围内。惩罚因子的具体形式在不同情况下有很多不同选择，我们将会选择以下这一种：s21log(1)log（2-16）j1ˆjj1ˆ这里，s2是隐层中隐藏神经元的数量，而索引j则代表隐层中的某一个神经元。这一惩罚因子是基于相对熵（KLdivergence）得到的。于是惩罚因子也可以被表示为s2KL(||ˆj)，其中j11KL(||ˆ)log(1)log（2-17）jˆ1ˆjj公式（2-17）是一个以ˆj为均值和一个以为均值的两个伯努利随机变量之间的相对熵。相对熵是一种标准的用来测量两个分布之间差异的方法。这一惩罚因子有如下性质，当ˆj时KL(||ˆj)0，并且随着ˆj与之间的差异增大而单调递增。所以，最小化这一惩罚因子具有使得ˆj靠近的效果。总体来说，我们的代价函数可以表示为s2Jsparse(,)WbJWb(,)KL(||ˆj)（2-18）j114 第二章深度学习的基本方法其中JWb(,)如之前所定义，而控制稀疏性惩罚因子的权重。ˆj项则间接地取决于W和b，因为它是隐藏神经元j的平均激活度，而隐层神经元的激活度取决于W和b。为了将相对熵引入导数的计算，我们可以使用一个易于实现的技巧，这只需要在你的程序中稍作改动。具体来说，前面在后向传播算法中计算第二层（l=2）更新的时候我们已经计算了s2(2)(2)(3)(2)i(Wjij)(fzi)（2-19）j1现在将其换成下式：s21(2)(2)(3)(2)i((Wjij)())(fzi)（2-20）j1ˆjj1ˆ有一个需要注意的地方就是我们需要知道ˆj来计算这一项更新。所以在计算任何神经元的后向传播之前，你需要对所有的训练样本计算一遍前向传播，从而获取平均激活度。在实际应用中，通常将ˆj设为固定值，这样往往能获得足够好的效果。2.2受限玻尔兹曼机（RestrictBoltzmannMachine）[28]受限玻尔兹曼机（RBM）是一类具有两层结构、对称连接且无自反馈的随机神经网络模型，层间全连接，层内无连接。RBM是一种有效的特征提取方法，用于初始化前馈神经网络可明显提高泛化能力。堆叠多个RBM组成的深度信念网络能提取更抽象的特征。2.2.1受限玻尔兹曼机的基本模型RBM可以被看作是一种无向图模型，如下图所示。v是可见层单元，表示可以观测到的数据，h是隐藏层单元，可看作特征检测器，通过观测数据进入网络后生成隐藏特征，W表示可见单元和隐藏单元之间的连接权重。RBM的可见层单元和隐藏层单元可以是任意的指数族单元，如高斯单元、Softmax单元、泊松单元等等。为了便于讨论，令所有单元均为二值变量,即ijv,,i{0,1}，hj{0,1}。15 华南理工大学硕士学位论文图2-6RBM模型表示，层内单元之间无连接一个有n个可见层单元和m个隐藏层单元的RBM，隐藏单元和可见单元的状态分别用向量h和v表示。第j个隐藏单元的状态用h表示，第i个可见单元的状态用v表ji示。这样，给定一组状态（v，h），RBM所具有的能量就按如下定义：nmnmEvh(,|)bviichjjvWhiijj（2-21）i1j1i1j1{Wbc,,}其中，ijij为RBM的参数。可见层单元i与隐藏层单元j之间的连接权重用Wij表示。可见单元i的偏置用bi表示，隐藏单元j的偏置用cj表示。所有参数都确定后，（v，h）基于该能量函数的联合概率分布为：Evh(,|)eEvh(,|)Pvh(,|),()ze（2-22）z()vh,z()为配分函数，是归一化因子。在实际问题中，我们关注的是联合概率分布Pvh(,|)，即观测数据v的分布Pv(|)，也被称作似然函数：1Evh(,|)Pv(|)e（2-23）z()hmn为了得到该分布，需要求得配分函数z()，需要2次计算。即使训练得到模型参数W、b和c，也没法有效的计算v的分布。ijij由RBM层间有连接，层内无连接的特殊结构可知：当已知可见单元时，各隐藏单元的激活状态是条件独立。可求出第j个隐藏单元的激活概率：Ph(j1|,)v(cjvWiij)（2-24）i16 第二章深度学习的基本方法1其中，()x为激活函数（sigmoid）。由RBM的对称结构可知，同理第1exp(x)i个可见单元的激活概率可如下表示：Pv(i1|,)h(biWhijj)（2-25）j2.2.2基于对比散度的RBM快速学习算法为拟合给定训练数据，RBM需求出参数的值。我们利用最大化RBM在训练集上的对数似然函数来求取参数，即T*()targmax()Largmaxlog(Pv|)（2-26）t1*其中，T是训练集的样本个数。为了获取可参数的最优解，利用随机梯度上升的T()t()t方法进行迭代，求得L()log(Pv|)，需要计算log(Pv|)关于各参数的偏导。t1化简L()：TT()tt()L()log(Pv|)logPv(,|)ht11thTexp[Ev(()t,|)]hhlog（2-27）t1vhexp[Evh(,|)]T()t(logexp[Ev(,|)]loghvhexp[Evh(,|)])th1用表示参数向量的其中一个参数，则偏导为：TL()t(logexp[Ev(,|)]loghvhexp[Evh(,|)])th1Texp[Ev(()tt,|)]h(Ev((),|))h()tth1hexp[Ev(,|)]h（2-28）exp[Evh(,|)](Evh(,|))vhexp[Evh(,|)]vhT(Ev(()t,|))h(Evh(,|))t1P(|hv()t,)Pvh(,|)()t表示关于分布P的期望。Phv(|,)是在可见单元已知，隐藏层单元的概率分P布，故(2-28)式中前一项能比较容易计算。Pvh(,|)为可见单元和和隐藏单元的联合分17 华南理工大学硕士学位论文布概率，由于需要计算配分函数Z()，所以直接计算该分布比较困难，我们通过一些采样的方法，比如Gibbs采样近似获取该分布。在实际训练样本时，为了加速迭代的过程，在每一次迭代求偏导数的时候，只需要用部分样本而非所有训练样本来进行训练。()t假设对于一个训练样本，分别将Pvh(,|)和Phv(|,)的概率分布用“model”和“data”来表示，则对数似然函数关于参数Wij、bi、cj的偏导数分别是：log(|)PvvhvhijijWdatamodelijlog(|)Pvvviidatamodel(2-29)bilog(|)Pvhhjjcdatamodelj2.2.2.1RBM中的吉布斯采样（Gibbssampling）[14]吉布斯采样是基于马尔科夫链蒙特卡洛策略的采样方法。假设对于一个K维的随机向量，无法求取X的联合分布P(X),但是PX(|X)的分布是已知的，kkX(XX,,,X,X,,X)。这种情况下，利用上述条件分布，可以从X任意状k12k1k1K态开始，迭代的对其分量进行采样，随采样次数的增加，随机向量[(),xnxn(),,xn()]12K的概率分布会以n的几何级数收敛于P(X)。由于RBM模型具有对称的结构以及同层单元间的条件独立性，用Gibbs采样可得到RBM模型所定义分布的随机样本。具体到RBM中，k步Gibbs采样的算法为：用一个样本初始化可见层单元的状态v，0然后交替进行采样：hPhv(|),vPvh(|),0010hPhv(|),vPvh(|),1121(2-30),vPvh(|).kk1在k足够大时，可得到服从RBM所定义分布的样本。也可求得(2-28)式中第二项的一个近似。2.2.2.2基于对比散度（ContrastiveDivergence，CD）的快速学习算法利用Gibbs采样通常采样的步数都较大，虽然可以得到参数偏导的近似，但当观测18 第二章深度学习的基本方法数据的维数较大时，训练效率依然不够高。[15]深度学习算法的发明者Hinton提出了一个快速学习RBM的算法，即对比散度。当用训练样本初始化v0时，仅需要k=1步Gibbs采样就能获得较好的近似效果。在对比散度算法中，一开始可见单元状态被初始化为一个训练样本；并用(2-24)式计算出所有隐藏层单元的激活概率，从而确定其二值状态；再根据隐藏层单元的状态，由(2-25)式计算出v的激活概率，从而产生可见层单元的重构。因此，各参数的偏导就可由下式获得，Wijvhijvhijdatareconbividatavirecon(2-31)cjhjhjdatareconε是学习速率，是重构后的分布。recon在RBM中，一般将可见单元的数量设置为训练数据的特征维数，隐藏单元数量需要自己定义。设隐藏单元数量和可见单元数量分别是m和n。W表示可见层与隐藏层间的连接权重的矩阵（大小为mn），隐藏层和可见层的偏置分别由c（m维列向量）和b表示（n维列向量）。本文所采用基于CD的快速学习算法步骤如下：输入：一个训练样本x，最大训练周期T，隐藏层单元个数m，学习速率ε0输出：参数W、a、b训练过程：初始化：令vx；W、a、b为较小的随机数值。10fort=1,2，…,Tforj=1,2,…,m(所有隐藏层单元)计算Ph(11j1|,)v(cjvWiij)i从而确定隐藏单元的状态h1j{0,1}endforfori=1,2，…,n(所有可见单元)19 华南理工大学硕士学位论文计算Pv(2i1|)h1(biWhij1j)j从而确定可见单元的状态v{0,1}2iendfor更新参数：TTWW((Ph1|)vvPh(1|vv))111222bb()vv12cc((Ph1|)vPh(1|v))1122endfor算法2.1基于对比散度的快速学习2.3栈式自编码神经网络的训练2.3.1概述栈式自编码神经网络是将多个稀疏自编码串联所成的深度神经网络，可以采用依次训练每一层的贪心分层算法来预训练深度神经网络。在本小节中，主要介绍如何将自编码网络以贪心分层的方式串联起来，以及如何预训练深度神经网络的参数。由于栈式自编码神经网络是一个由多层稀疏自编码组成的神经网络，所以其前一层自编码的输出作为其后一层自编码的输入。形式上，对于一个n层栈式自编码神经网络(k,1)(k,2)(k,1)(k,2)(1)(2)(1)(2)而言，用W,W,b,b表示第k个自编码器对应的W,W,b,b参数，那么该栈式自编码神经网络的编码过程就是依照从前向后的顺序执行每一层自编码器的编码步骤：()ll()afz()(2-32)(1)l(,1)l()l(,1)lzWab同理，栈式自编码神经网络的解码过程是按照从后往前的顺序执行，每一层自编码器的解码步骤如下：(nl)(nl)afz()(2-33)(nl1)(nl,2)(nl)(nl,2)zWab(n)其中，a是隐藏单元最深层的响应，其包含了我们感兴趣的信息，这个向量是对输入的更高阶的表示。20 第二章深度学习的基本方法2.3.2逐层训练采用逐层贪心的进行训练是获取栈式自编码神经网络参数较好的方法,每一层都用2.1节中所定义的方法进行单独训练。具体来说即先通过原始输入来训练第一层网络，(1,1)(1,2)(1,1)(1,2)得到其参数W,W,b,b；再用第一层网络将原始输入转化成为由隐藏单元响应组成的向量，假设该向量为a，接着把a作为第二层的输入，继续训练得到第二层的参(2,1)(2,2)(2,1)(2,2)数W,W,b,b；对后面的各层同样采用将前层的输出作为下一层输入的方式依次训练。上述训练方式，每一层参数是单独训练的，所以在实际算法中，各层训练可以分开单独进行，而且相互不会影响，这个阶段各层参数是独立的。而如果想得到更好的结果，可以将各层组合起来看成一个模型，在上述预训练过程完成之后，可以通过反向传播算法同时调整所有层的参数以优化结果，这个过程一般被称作微调（fine-tuning）。如果微调的目的只是用于分类，通常就不需要栈式自编码网络的解码层了，直接把(n)最后一个隐藏层的输出a作为Softmax分类器的特征，从而进行分类，这样分类误差较大的梯度值就可以直接反向传播给编码层了。2.3.3微调栈式自编码神经网络前面各层的训练都是无监督的学习，微调是深度学习中的常用策略，是将栈式自编码神经网络的所有层视为一个模型，是一个监督的学习算法。用Softmax分类器的输出与样本标签计算整体误差，然后再利用2.1.3节所讨反向传播算法求出每一层参数的误差，从而达到每次迭代，优化权重的目的，所以微调对于任意多层的自编码神经网络都是适用的。微调后算法的分类效果相对于微调前一般都会有一个提升。2.3.3.1基于反向传播微调1.进行前向传播，依次对L2层、L3层直到输出层Lnl，使用正向传播步骤中所定义的公式计算各层上的激励响应。2.对输出层，也就是nl层，令()nnll(Jfz)'(())nl(2-34)aT当使用Softmax分类器时,Softmax层满足：J()IP，其中I为样本对应的类别标号，P为条件概率向量。3.对ln1,n2,,2令：ll21 华南理工大学硕士学位论文()l()lT(1)l'()l((W))fz()(2-35)4.计算参数偏导数：(1)l()lT()lJWbxy(,;,)(a)(2-36)W(1)l()lJWbxy(,;,)(2-37)b1m()ii()JWb(,)i1JWbx(,;,y)(2-38)m输出层Softmax分类器可以被认为是附加的一层，但是其推导需要区别处理。具体地说，栈式自编码网络最后一层的输出，会作为特征输入到Softmax分类器。所以，第二步中的导数由()nnll(Jfz)'(())计算，其中T()nlJIP。a2.4深度信念网络的训练2.4.1训练过程概述[30]深度信念网络是由多个RBM串联所形成的深度神经网络，下面的内容将介绍如何训练由多个RBM组成的深度信念网络。k观测向量x和具有l个隐藏层h的深度信念网络模型的联合分布如下式：l21lkk1l1lPxh(,,...,)hPh(|h)Ph(,)h(2-39)k00kk1其中xh，Ph(|h)是DBN第k层的RBM的隐藏层已知，可见层的条件分布，ll1Ph(,)h是顶层RBM的联合分布。如下图所示：图2-7深度信念网络深度信念网络是一个生成式模型（以P的分布生成路径），是对输入进行多层表示22 第二章深度学习的基本方法23的一种方法（以Q的分布识别路径）。最高的两层h和h组成一个RBM，较低的层组2kk1成一个有向图模型。倒数第二层的先验h是由顶层RBM提供。Phh(|)可以用kk1Qh(|h)近似得到。kk1ll1条件分布Phh(|)和顶层RBM的联合分布Ph(,)h都为生成式模型。接下来我们通过引入符号Q来表示确切或近似的模型后验概率，用于训练和推断过程。除了在顶ll1ll1ll1层Qhh(|)和真实的Phh(|)相等以外，其余的Q后验概率都是近似，因为(hh,)组成了一个RBM，确切推断（exactinference）是可能的。当我们以逐层贪心的方式训练DBN的时候，正如如下算法所示，用一个纯非监督的方式训练一个DBN，在每一层单独训练过程中，都是利用前面提到基于对比散度的RBM快速学习算法。TrainUnsupervisedDBN（Pˆ,,,lWbc,,,mean_field_computation）Pˆ输入：训练样本的分布，训练RBM的学习速率，训练的层数l,mean_field_computation返回一个布尔表达式，当通过基于平均场的近似而不是随机采样获得每个附加层的训练数据时，返回真。输出：kkkW是第k层的连接权重矩阵，b是第k层RBM的可见单元偏置向量，c是第k层RBM的隐藏单元的偏置向量。（其中k=1到l）。训练过程：fork=1，„，lkkk初始化W0，b=0，c=0while（非停止条件）00对h按Pˆ分布采样，令hxfori=1，„，k-1ifmean_field_computationtheniii1ihjjQh(1|h)，对h中的所有单元jelseii1hi，对i从Qhh(j|)采样得到jh中的所有单元jendif23 华南理工大学硕士学位论文endfork1kkkkk1RBMupdate(h,,Wbc,,){该操作是为了得到Qhh(|)，供后面使用}endwhileendfor算法2.2逐层贪心的DBN训练算法kk1每一层都被初始化为一个RBM，我们用Qhh(,)表示用这种方式训练得到的第kkk1kk1个RBM，P（…）表示DBN的概率。我们用Qhh(|)作为Phh(|)的一个近似，因kk1kk1kk1为根据Qhh(|)是比较容易采样和计算的，而Phh(|)不行。这些Phh(|)也可被用于构建输入向量x的表示。为了得到所有层的近似后验或表示，我们采用如下步骤。11首先，通过hQhx(|)对第一层RBM进行采样，或则也可用平均场的方法近似得到hˆ11Ehx[|]，其中对整个RBM分布Qhx(1|)求其期望。在通常情况下，这些隐藏单元输出概率的向量是hˆ1sigmb()1Wx1。无论是利用平均场近似向量hˆ1还是采样得到的iih1作为第二层RBM的输入，可用来计算hˆ2或h2，直到最后一层。一旦DBN利用以上ii算法训练好后，参数W和c就可用于初始化具有多层的深度神经网络，这些参数也可以通过监督的方法进行微调。DBN生成模型的样本x可由如下方法得到：l11.从RBM的顶层采样得到可见单元h，这可以通过Gibbs链近似得到，对RBMlll1l11ll交替使用hPhh(|)，hPh(|h)，由公式（2-25）、（2-26）。kk1kk12.对于k=l-1，„，1根据第k层条件概率Ph(|h)，已知h时，对h采样。03.xh就是一个DBN的样本。2.5本章小结本章详细介绍了两种深度学习的基本方法：稀疏自编码和受限玻尔兹曼机。分别针对稀疏自编码和受限玻尔兹曼机，详细阐述了如何构建深度神经网络并进行训练，用于对图像进行无监督的学习，学习出样本的特征。然后使用微调的技术，将所有层看作一个模型，利用反向传播算法，对参数进行整体的调整，从而达到优化模型的目的。本章为第三章深度学习算法的应用打下了良好的基础。24 第三章基于深度学习的前列腺病理图像判断第三章基于深度学习的前列腺病理图像判断前列腺病理图像的识别算法可以用于病理切片组织来源的判断。判断组织来源具有非常重要的意义，由于存在器官畸变、异位等问题，从人体某个位置取得的组织切片并不一定就是对应这个位置的器官组织，所以在医院所有的前列腺病理切片都需要由医生观察后人工进行标注，这样无疑会增加医生重复工作量，医生长时间标注产生疲劳也可能导致人为的失误。为提高医生工作效率，减少工作流程中的人为失误，组织来源的判断是开发前列腺计算机辅助诊断系统的必要步骤。[17]前列腺结石的识别是组织来源判断的一个主要方法。不过并不是所有的前列腺病理切片图像里面都包括前列腺结石这一病理对象，所以该方法存在一定的局限性。本文提出了基于深度学习的前列腺病理图像识别算法，能有效克服这一问题。深度网络非监督学习出前列腺病理切片图像局部纹理的不变特征，然后利用softmax回归分类器训练非监督学习得到的特征，达到识别前列腺病理图像的目的。前列腺病理图像如图3-1所示；而负样本则是来自其它组织，比如脾脏、心脏、鼻咽等其他部位的病理图像，如图3-2所示。图3-1正样本：前列腺病理图像a)心脏组织切片病理图像b)脾脏组织切片病理图像图3-2负样本：非前列腺的病理图像25 华南理工大学硕士学位论文算法整体流程如下所示：图3-3基于深度学习前列腺病理图像识别算法整体流程图3.1非监督学习3.1.1图像块的采集对于分辨率为800600的前列腺病理图像，图像太大不适于直接作为栈式自编码网络的输入。为了学习到前列腺病理图像的局部特征，需要对其采样，对每一张原图像随机获取20个大小一定的图像块。本文采用大小为3030的图像块，再将图像块转为灰度图像，如图3-4示，作为输入数据来进行训练。原图中有一些腺腔区域，并不存在纹理特征，所以采集图像块的时候需要设一个阈值，将图像块中腺腔区域占比大于一定比例的排除掉，得到包含足够纹理的图像块。图3-43个包含纹理的前列腺3030灰度图像块3.1.2白化白化的目的是去掉数据之间的相关联度，这是很多算法进行预处理的步骤。比如说当训练图片数据时，由于图片中相邻像素值有一定的关联，所以很多信息是冗余的。这时候去相关的操作就可以采用白化操作。数据的白化必须满足两个条件：一是不同特征间相关性最小，接近0；二是所有特征的方差相等。常见的白化操作有PCA白化和ZCA白化。PCA白化是指将数据经过PCA降维为后，每一维是独立的，为满足白化的第二个条件，这时只需要将每一维都除以标准差就得到了每一维的方差为1，也就是说方差相26 第三章基于深度学习的前列腺病理图像判断等。公式为：xroti,xZCAwhite(3-1)i其中xroti,是第i维特征向量。ZCA白化是指数据PCA变换，但是并不降维，因为这里是把所有的成分都选进去了。这时也同样满足白化的第一个条件，特征间相互独立。然后同样进行方差为1的操作，最后将得到的矩阵左乘一个特征向量矩阵U。ZCA白化公式为：xUx(3-2)ZCAwhitePCAwhite实践中需要实现PCA白化或ZCA白化时，有时一些特征值i在数值上接近于0，这样在缩放步骤时我们除以i将导致除以一个接近0的值，这可能使数据上溢(赋为大数值)或造成数值不稳定。因而在实践中，使用少量的正则化实现这个缩放过程，即在取平方根和倒数之前给特征值加上一个很小的常数。本文采取ZCA白化之后的图像块如下图所示。图3-5对图3-4纹理图像块ZCA白化后的效果3.1.3非监督学习本节利用2.3节描述的方法构建深度神经网络，将白化后3030大小的图像块作为栈式自编码神经网络的输入，假设首层隐藏单元设为200时，输入数据与隐藏单元的连(1)(1)接权重W大小为200900，可视化训练后的W如下图所示，我们可以看到这些隐藏单元学习出来的整体效果。27 华南理工大学硕士学位论文(1)图3-6自编码网络训练得到的W（输入数据与隐藏单元的连接权重）上图的每个小图像块都表示一个输入图像x，它可使这200个隐藏单元中的其中之一获得最大激励。可以看到，不同的隐藏单元学到了在图像的不同位置和方向最显著的特征。经过微调后的连接权重如下图所示：(1)图3-7微调后的连接权重W3.2Softmax回归分类器输入图像通过预处理，然后经过深度神经网络经过非监督学习，学习出能较好表征原始输入图像块的特征用于最后的分类，如下图所示。这里我们使用的是Softmax回归28 第三章基于深度学习的前列腺病理图像判断模型。该模型是logistic回归模型一般化，可以用来解决类型标签y的可能取值多于两种的情况。当为二分类时，Softmax回归模型就退化为logistic回归模型。Softmax回归是一种监督式的学习算法，本文将它与深度学习（无监督特征学习）方法结合起来使用，进行前列腺病理切片图像的识别。图3-8带2个隐藏层栈式自编码神经网络和用于最终分类的Softmax分类器在Softmax回归中，类型标记y可以取k个不同的值，当然k也可以等于2。于是，(1)(1)()mm()()i对于我们的训练集{(x,y),...,(x,y)}便有yk{1,2,...,}。我们同样使用符号θ来表示全部的模型参数。在实现Softmax回归时，你通常会发现，将θ用一个k×(n+1)的矩阵来表示会十分便利，该矩阵是将12,,...,k按行罗列起来得到的，如下所示：T1T2(3-3)Tk3.2.1代价函数由于Softmax可以用于多分类，所以在后面的公式会用到指示函数，令l{.}是指示29 华南理工大学硕士学位论文函数，其取值规则为：1{值为真的表达式}=1，1{值为假的表达式}=0。例如，表达式1{1+2=3}的值为1，1{3+3=5}的值为0。代价函数为：Ti()mkjx1()ieJ()1{yj}logkTix()(3-4)mij11ejl1Softmax回归中概率值为：Ti()jx()ii()epy(jx|;)kTix()(3-5)ejl1对于J(θ)的最小值，借助于梯度下降法或L-BFGS算法等迭代优化算法。经过求导，可以得到梯度公式为：m1()i()i()i()ijJ()x(1{yj}py(jx|;))(3-6)mi1J()其中J()本身是一个向量，因此它的第l个元素是J(θ)对θj的第l个分jjl量的偏导数。有了上面的偏导数公式以后，我们就可以将它带入到梯度下降法等算法中，来使J(θ)最小化。在梯度下降法标准实现的每一次迭代中，我们需要进行如下更新：:aJ()对于每一个j=1,...,k。jjj3.2.2权重衰减kn2为了让参数值保持比较小的状态，通过添加一个权重衰减项ij10ij来修改2代价函数，这个衰减项能惩罚过大的参数值，代价函数变为：Ti()mkjx1()iekn2J()1{yj}logkTix()ij10ij(3-7)mij11ej2l1权重衰减项不仅能让参数保持较小的状态，对于任意的λ>0，而且能让代价函数变成严格的凸函数，这样就可以保证得到唯一解。Hessian矩阵变为可逆矩阵，通常使用梯度下降和L-BFGS等优化算法都可以保证收敛到全局最优解。为了使用优化算法，我们需要求得这个新定义的J(θ)函数的导数公式，我们可以得到导数公式如下：30 第三章基于深度学习的前列腺病理图像判断m1()i()i()i()iJ()x(1{yj}py(jx|;))(3-8)jmji1通过对参数θ进行迭代，对函数J(θ)的最小化求解，本文采用的是L-BFGS的方法对目标函数进行优化。3.3基于ROC曲线的全局判断[25]在信号检测理论中，ROC曲线又被称作接收者操作特征曲线（ReceiverOperatingCharacteristiccurve），主要是用于对灵敏度进行描述的功能图像。ROC曲线可以通过对真阳性率（TPR，又被称作灵敏度）和假阳性率（FPR，被定义为1-特异度）的描述来实现。由于是通过比较两个操作特征（TPR和FPR）作为标准，ROC曲线也叫做相关操作特征曲线。通常取ROC曲线上最左上方的点作为阈值，因为此时具有较高的灵敏度和特异度，ROC线下面积（AreaUnderCurve,AUC）越大，则说明模型效果越好。由于我们的输入都是图像块，输出判断的也是当前块是否属于前列腺病理图像，取自同一病理图像的不同图像块有可能得到的是不同的结果。因此，我们在同一幅图像所采集的图像块中，当预测结果为正的比例超过阈值r时，就将该图像判断为前列腺病理切片图像。为了提高算法整体的灵敏度和特异度，我们会根据不同的阈值求出算法的灵敏度和特异度，取左上方的点作为最终的阈值。3.3.1ROC曲线的主要作用1.确定最佳分类阈值。不同阈值下真阳性率和假阳性率不同，越靠近左上方的点，真阳性率越大，假阳性率越小，所以最后选取最左上方的点作为最终分类参数。2.对多种模型分类效果进行比较。同一份数据，用不同的算法会得到相应分类的结果，分别画出对应的ROC曲线，通过对比两个模型的ROC曲线，可以选择AUC较大的算法作为最终的分类算法。3.3.2ROC曲线的评价指标ROC曲线下的面积（areaundercurve，AUC）是评价模型效果的一个指标。在AUC＞0.5时，AUC的值越接近于1，则模型分类效果越好；AUC大于0.5且小于等于0.7时，通常认为有准确性较低；AUC大于0.7且小于等于0.9时准确性中等；AUC大于0.9时，则认为准确性较高。AUC＝0.5时，说明模型完全不起作用，相当于随机猜测，没有任何价值。当AUC＜0.5时，可以将预测结果中的正负样本交换一下使AUC>0.5。31 华南理工大学硕士学位论文3.4实验结果本实验共有350幅前列腺病理切片图像作为正样本，每幅图像采集20个小图像块，共7000个图像块，其中4520个作为训练集，2480个作为测试集。负样本共110幅其它组织的病理图像，每幅采集20个图像块，共2200个图像块，其中1600个作为训练集，600个作为测试集。本实验的所有病理图像都是由广州军区总医院病理科提供，由于目前医院那边病理图像的采集成本较大，样本数量并不是很多，可能在一定程度上会影响深度学习算法的效果，但是从实验结果来看还是令人满意的。随着以后此类病理图像标准库的建立，样本数量会逐渐增多，本章所用算法能够在此基础上得到更好的效果。3.4.1基于图像块的分类结果3.4.1.1二层隐藏单元的分类结果对于2个隐藏层的栈式自编码神经网络，2层隐藏单元都为200个，用softmax进行分类，每次从总体正负样本中随机选取训练集和测试集，不进行整体微调5次测试的平均结果如下表所示。表3-1二层网络微调前分类结果实际预测正样本负样本合计正样本19974832480负样本243357600合计2240840真阳性率（灵敏度）=1997/2480=80.2%;假阳性率（1-特异度）=243/600=40.5%;分类准确率=(1997+357)/3080=76.4%;利用反向传播整体微调后，分类结果如下：表3-2二层网络微调后的分类结果实际预测正样本负样本合计正样本20384422480负样本139461600合计2177903真阳性率（灵敏度）=2183/2480=82.2%;32 第三章基于深度学习的前列腺病理图像判断假阳性率（1-特异度）=139/600=23.2%;分类准确率=(2038+461)/3080=81.1%;整体微调后较微调前分类效果有明显提升，特别是假阳性率有较大的下降。3.4.1.2三层隐藏单元的分类结果3层隐藏单元，每层分别为200个。用softmax进行分类，每次从总体正负样本中随机选取训练集和测试集，进行整体微调后5次测试的平均结果如下表所示。表3-3三层网络微调后的分类结果实际预测正样本负样本合计正样本20273532480负样本198402600合计2225755真阳性率（灵敏度）=2027/2480=81.7%;假阳性率（1-特异度）=198/600=33%;分类准确率=(2027+402)/3080=78.9%;3.4.2基于ROC曲线的全局分类结果3.4.2.1二层隐藏单元的ROC曲线在同一幅图像所采集的图像块中，当预测结果为正的比例超过阈值r（3.3节提到）时，我们就将该图像判断为前列腺病理切片图像，否则就判断为非前列腺组织的病理图像。通过设置不同阈值r，求出灵敏度和1-特异度，然后画出ROC曲线，并将左上方的点作为最终的阈值。下面两个表分别显示微调前和微调后灵敏度和1-特异度的大小，并依据两个表分别画出ROC曲线，从而得到前列腺病理图像识别的灵敏度、特异度和准确率，较图像块的识别有较大的提高。表3-4微调前不同阈值下灵敏度、1-特异度、准确率阈值r0.10.20.30.40.50.60.70.80.9灵敏度1110.9760.9440.8630.750.5160.1211-特异0.8330.7330.5670.4330.3670.2330.10.0330度准确率0.8370.8570.890.90.8830.8440.780.6040.29233 华南理工大学硕士学位论文表3-5微调后不同阈值下灵敏度、1-特异度、准确率阈值r0.10.20.30.40.50.60.70.80.9灵敏度1110.9920.9680.9110.7980.6290.1611-特异0.7330.5330.3670.3330.2670.1670.33300度准确率0.8570.8960.9290.9290.9220.8960.8310.7010.325并根据表3-4、表3-5画出ROC去下如下图所示。图3-9微调前和微调后ROC曲线通过近似的计算相邻点之间和x轴所围成的梯度面积，并对其求和，可得微调前AUC=0.91，微调后的AUC=0.963。由此可见该算法对于前列腺病理切片的识别有较高的准确率，微调后比微调前在分类准确率、灵敏度、特异度有较大提高，同时基于ROC曲线的全局判断相对于对图像块的分类，这三个指标也有较大的提高。微调后取ROC曲线左上方的点r=0.6，最后得到灵敏度为0.911，1-特异度为0.167，准确率为0.896。3.4.2.2三层隐藏单元的ROC曲线对于三层隐藏单元的自编码神经网络也做如上同样的操作，可得下表,对于三层隐藏单元这里只给出微调后的数据。表3-6三层隐藏单元不同阈值下灵敏度、1-特异度、准确率阈值r0.10.20.30.40.50.60.70.80.9灵敏度1110.9760.9600.8870.7820.5320.1291-特异0.7670.6670.50.3670.3330.20.0670.0330度准确率0.8510.870.9030.9100.9030.870.8120.6170.29934 第三章基于深度学习的前列腺病理图像判断根据表3-5，表3-6画出的ROC曲线如下图所示。图3-10三层隐藏单元和二层隐藏单元的ROC曲线求得三层隐藏单元模型的AUC=0.931，低于二层隐藏单元的模型。由图3-10可看出，二层隐藏单元对于前列腺病理图片的分类有更高的灵敏度、特异度以及准确率。对于深度网络来说并不是层数越多越好，对于前列腺病理图像判断这种二分类的问题，两层隐藏单元就能取得足够好的效果，层数更多的情况下，有可能出现了过拟合，导致模型的可扩展性降低。3.5本章小结本章详细阐述了前列腺病理图像的识别算法。把随机选取图像块进行ZCA白化等预处理操作后，降低像素之间的冗余。再利用深度神经网络，对图像块进行无监督的学习，通过设置不同的层数和隐藏单元个数得到不同的学习效果。最后用Softmax对图像块进行监督的学习，深度神经网络的输出就作为输入，并通过对比发现微调后的分类效果要好于微调前。对整幅图像的识别，本章提出了基于ROC曲线的全局判断方法:对于一幅图像，被识别为正样本的图像块的比例超过阈值r，则该幅图像被判为正样本，否则被判为负样本。通过设置不同的阈值r得到不同的灵敏度和1-特异度，画出ROC曲线，选取使灵敏度和特异度位于左上方的阈值r，使得模型分类效果最好。取r=0.6时，得到灵敏度为91.1%，特异度为83.3%，准确率为89.6%。35 华南理工大学硕士学位论文第四章基于空间金字塔的前列腺癌病理图像的识别前列腺正常的病理图像和癌变图像在局部的纹理结构特征方面区分度是不明显的，所以利用上一章基于图像块的分类方法是不能将两者很好的区分开。而对于癌变的图像，整体结构上相对正常图像会有以下几个方面明显的区别，如下图所示:1.前列腺间质结构紊乱，方向不规则；2.腺腔区域变小，甚至无腺腔；3.细胞核散乱分布。基于此，本章将局部特征按空间信息组织起来形成全局特征，用于癌变前列腺病理图片的识别。a)正常的前列腺病理图像b)癌变的前列腺病理图像图4-1前列腺病理图像本章采用了基于空间金字塔匹配(SpatialPyramidMatching,SPM)的前列腺癌病理图像的识别方法。算法整体流程如下图所示：图4-2前列腺癌病理图像识别算法流程图[18]金字塔匹配的方法最早由Grauman和Darrell提出，后又由SvetlanaLazebnik等[19]人提出了图像分块的方法来提取图像区域的语义，用于场景分类领域，取得了不错的效果。这说明将局部语义的空间信息组织起来形成全局信息，是一种可行的图像表示方36 第四章基于空间金字塔的前列腺癌病理图像的识别法。4.1SIFT特征简介[20]SIFT是一种提取图像局部特征的算法。1999年David.G.Lowe总结了现有的基于不变特征的检测方法，并正式提出了一种图像局部特征描述算子(SIFT)，并在2004年得以完善。SIFT是图像的局部特征，对平移、尺度缩放、旋转、亮度变化保持不变性。SIFT特征的生成一般包括四个步骤，如下图所示。图4-3SIFT算子提取流程4.1.1构建尺度空间[21]尺度空间理论是检测不变特征的基础。Witkin提出了尺度空间理论，Koenderink把这种理论扩展到二维图像，并证明能实现尺度变换的唯一变换核只有高斯卷积核。下式为二维的高斯函数：1(xy22)/22Gxy(,,)e(4-1)22一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到：Lxy(,,)Gxy(,,)*(,)Ixy(4-2)图像的平滑程度由大小决定，小尺度对应图像细节特征，大尺度对应图像概貌特征。小的值对应高分辨率，大的值对应低分辨率，如下图所示。图4-4图像高斯金字塔图像金字塔的建立：对于一幅图像I,建立其在不同尺度(scale)的图像，也成为子八37 华南理工大学硕士学位论文度（octave），这是为了尺度不变性，也就是在任何尺度都能够有对应的特征点。第一个子八度的scale为原图大小，后面每个octave为上一个octave降采样的结果，即原图的1/4（长宽分别减半），构成下一个子八度（高一层金字塔）。4.1.2特征点检测并过滤[22]文献指出尺度规范化的LoG算子具有真正的尺度不变性，即我们可以在不同尺度的图像（已经经过高斯卷积）上进行拉普拉斯运算（二阶导数），并求极值点，从而求出关键点。但这样做的运算量很大，于是SIFT中进行了近似处理，利用高斯差分算子(DifferenceofGaussians,DoG)近似LoG算子，DoG算子如下式所示：Dxy(,,)Gxyk(,,)Gxy(,,)*(,)Ixy(4-3)Lxyk(,,)Lxy(,,)对应算子，我们构建DoG金字塔，用于特征点的检测，如下图所示：图4-5高斯差分金字塔得到图像的高斯差分金字塔后，就可以进行极值点检测了，如下图所示，38 第四章基于空间金字塔的前列腺癌病理图像的识别图4-6极值点检测高斯差分图像中，和同层相邻点以及上下相邻层的26个相邻点比较，如果为最大或最小可将其定为极值点。检测出极值点之后，有些点是沿着边缘的，或则有些点对比度较低，这两类点对于最后生成的特征没有实质性的作用，所以需要过滤掉这两类点，以增强特征匹配的稳定性和抗噪声能力。对于边缘点，可以采用类似Harris角点检测的方法，对于低对比度的点则可直接利用其灰度值过滤。4.1.3特征点确定方向上一步中确定了每幅图中的特征点，接下来为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点相邻像素的梯度方向分布，为每个关键点指定一个方向参数。(x,y)处梯度的大小和方向可由下式得到：22mxy(,)((Lx1,)yLx(1,))y((,Lxy1)Lxy(,1))(4-4)1(,)xytan(((,Lxy1)Lxy(,1))/((Lx1,)yLx(1,)))y以关键点为中心的邻域窗口内采样，并利用直方图统计邻域像素的梯度方向。梯度直方图的范围是0到360度，其中每45度一个柱，总共8个柱，如下图所示。39 华南理工大学硕士学位论文图4-7关键点领域直方图分布一般可取方向直方图的峰值作为该特征点的主方向。最后得到的每个特征点有三个信息：位置、尺度、方向。4.1.4生成SIFT特征向量对于每个特征点，可得到其位置、尺度、方向。为了使其对光照、视角等变化具有较好的鲁棒性，需要对每个特征点建立描述符。首先，将坐标轴旋转到特征点的主方向上，使其具有旋转不变性。图4-8由特征点领域内的点的梯度生成的特征向量对于上图中8×8的小块上，利用公式求得每个像素的梯度幅值与梯度方向，箭头长度代表梯度模值，箭头方向代表该像素的梯度方向，然后用高斯窗口对其进行加权运算。然后计算四分之一小块上的梯度方向直方图，即可形成一个种子点，共2×2=4个种子点，每个种子点包含8个方向信息向量。实际中，一般取以特征点为中心16×16的块计算其特征向量，总共就能得到4×4=16个种子点，每个点8个方向，所以对于每个特征点，共16×8=128维特征向量。4.1.5DenseSIFT(密集的尺度不变特征)DSIFT和一般的SIFT相比，没有特征点检测这一步。而是直接将输入图像划分成大小相同的网格，直接在各个网格里面求4.1.4描述的特征向量，每个网格也就生成一个128维的向量。因为DSIFT特征更适合用于较大图像的分类，所以本文最后采用40 第四章基于空间金字塔的前列腺癌病理图像的识别DSIFT作为特征描述子，每个网格大小设为16×16，采样间隔为8。对于800×600的前列腺病理图像，（8.5，8.5）这个坐标点作为图像第一个计算特征向量的中心，将共得到7326个特征向量，每个特征向量是128维，所以一幅图像的DSIFT特征对应的就是一个7326×128的矩阵。4.2基于BoW的前列腺病理图像表示4.2.1BoW简介[23]BoW（词袋模型）的主要作用是简化表示，被用在自然语言处理和信息检索中。在这个模型中，一篇文章不考虑其语法和词的顺序，将其表示成一组无序的词的集合。将所有文章中出现过的单词全部收集到一起，定义为一本字典，而每篇文章都如同一个袋子，里面包含文章中出现过的单词及频率。词袋模型非常简单，与SVM分类器结合，在文本分类方面取得了非常好的效果。BoW模型在文本分类中取得了非常好的效果，这也引起了在计算机视觉领域的研究者们的关注。当从图像中提取出大量局部特征后，需要找到一种合适的方法来对图像进行描述。研究者们借助文本分类的思想，利用BoW模型来对图像进行标示。BoW模型对图像进行建模通常包括特征检测、特征描述、生成字典三个步骤。通过上一节，对于一幅图像，我们已经完成了前两步的计算，得到了图像的DSIFT特征描述子，DSIFT为n×128的矩阵，n就表示该图像检测到的特征点个数，不同图像中n可能是不同的。4.2.2基于BoW的前列腺病理图像表示本小节将介绍前列腺病理图像基于BoW模型表示的方法。提取出所有图像SIFT特征之后，每个图像都含若干个SIFT特征描述子，每个样本得到一个m×128的矩阵，m就是图像中得到的SIFT特征描述子的个数。通过K均值（K-means）聚类算法将所有样本特征进行聚类，聚类中心的个数定义了字典的大小，每个聚类中心便是一个视觉单词，得到一个K×128矩阵，每一行就一个类中心。求出聚类中心后，用K阶直方图来表示一幅图像，将每个样本各个特征赋给离它最近的类，该类所对应的灰阶加1，最后就会得到一个K阶直方图。即使对于不同大小和SIFT特征个数不同图像，最后得到的都是一个K阶直方图，所以图像大小不同时，该算法仍然适用。最后将直方图归一化，就得到了该图像词袋模型。41 华南理工大学硕士学位论文图4-9前列腺病理图像的BoW模型表示4.3基于SPM-BoW的前列腺病理图像表示4.3.1金字塔匹配核假设X和Y是d维特征空间中两个向量集合。Grauman和Darrell[18]提出了金字塔匹配来计算两个集合之间的相似度，其核心思想是：通过在原图中作一系列越来越粗的网格，得到其特征空间。然后计算不同分辨率下相匹配特征数的加权和，网格划分越细权重越大。在一个固定的分辨率下，如果两个点落在同一个网格中，则认为是匹配。假设我们用l表示网格的划分层次，l可以取0,1,…,L的整数。对于第l层，总共有l个网格，每一维特征都有2l个子集，则d维特征的总维数为2dlHl和Hl分别表2D。XYll示X和Y在该分辨率下的直方图表示，HiX()和HiY()就分别表示X和Y落到第i个网[24]格的的数量，第l层匹配的数量由直方图交叉函数来计算：DllllIH(X,HY)min(HX(),iHiY())（4-5）i1IHllH简记为l本章后面部分，将(XY,)I。ll1第l+1层匹配的点在第l层肯定也会匹配。因此，在第l层新匹配的点为II，1其中l=0,…,L-1。第l层的权值被赋为，和各层网格宽度成反比，因为层数越大，网Ll2格越小，匹配就越精确，所以权值越大。综上讨论，将金字塔匹配核按下式定义：L1LL1ll1(,)XYILl(II)l0211L（4-6）0lLIILl122l142 第四章基于空间金字塔的前列腺癌病理图像的识别4.3.2基于SPM-BoW模型的前列腺病理图像表示本小节将介绍前列腺病理图像基于SPM-BoW模型的表示方法。与4.2节的主要区别在于，本小节是按层级l去求取每一层的BoW模型，先将原图像划分为不同层次，如下图所示，然后按层次将原图像中抽取的特征聚类到K个视觉单词所表示的类别中，然后用视觉单词直方图来表示每个层级，再将各个层级的直方图按顺序连接，就形成了最终表示该图像的特征。a)第0层的BoW模型表示b)第1层的BoW模型表示c)第2层的BoW模型表示图4-10基于SPM-BoW模型表示，a)、b)、c)分别表示各层求得的BoW模型43 华南理工大学硕士学位论文4.4基于支持向量机的分类结果通过前面几节求得前列腺病理图像的BoW表示和SPM-BoW表示后，并将其作为SVM分类器的输入特征，达到识别前列腺图像是否癌变的目的。本节对前列腺癌病理图像的分类算法进行了实验。所有前列腺病理图像都经过医生标注，总共有384幅分辨率为800600的前列腺病理图像，其中正常的前列腺病理图像215幅，训练集有151幅，测试集有64幅；癌变的前列腺病理图像169幅，训练集有129幅，测试集有40幅。进行5次实验，每次实验的训练集和测试集均随机选取，最终结果取5次实验的均值。本节采用SVM作为分类算法，核函数用的4.3.1节介绍的金字塔匹配核。三个层级的权重分别为1/4，1/2，1。在对特征进行相似度计算的时候，根据公式(4-5)计算每个视觉单词的金子塔匹配核的值，再利用下式进行求和，得到最终核函数和，再带入到SVM分类其中进行分类。kLLK(,)XY(XYmm,)（4-7）m1从图4-9可以看出，将图像划分为L层时，总共有特征维数为：LlL11kk4(41)（4-8）l03当视觉字典大小为300时，求得2、3、4层空间金字塔的特征维数分别是1500，6300，25500。当L=0时，就是基本的BoW模型。4.4.1基于BoW模型的前列腺癌病理图像分类实验BoW模型是对图像在字典上的词频分布进行统计，用一个归一化的词频向量来表示一幅图像。所以字典的构建非常关键，字典的大小直接影响后续分类的准确率和时间复杂度。下表列出了，不同字典大小的分类准确率、灵敏度、特异度。表4-1不同字典大小的BoW模型分类效果字典大小200300400500准确率81.5%85.0%82.9%83.8%灵敏度87.3%89.4%86.3%86.3%特异度70.0%77.5%77.6%80.0%综合考虑分类准确率、灵敏度、特异度以及算法效率，我们选择字典大小K=300。44 第四章基于空间金字塔的前列腺癌病理图像的识别4.4.2基于SPM-BoW模型的前列腺癌病理图像分类实验对于空间金字塔匹配的词袋模型，空间金字塔的层数是影响分类准确率的关键参数。不同的层数，最后获得特征向量维数也不相同。所以，适合的金字塔层数有助于前列腺病理图像空间信息的表达，能提高分类的准确率、灵敏度以及特异度。表4-2不同层数的SPM-BoW分类效果比较空间金字塔层数234特征维数1500630025500准确率87.7%90.4%83.3%灵敏度89.4%90.6%86.2%特异度85.0%90.0%80.0%由实验结果可知，当字典大小为300，空间金字塔层数为3层的情况下，分类效果最好，同时在执行效率上也是可以接受的，相比基础的BoW模型，分类准确率、灵敏度和特异度都有相应的提升。[7]本章还将实验结果与文献中基于病理对象特征的分析方法（以下简称“病理对象特征”）进行了对比，将文献中的方法采用本文的数据集进行测试，对比结果如下表所示。表4-3与其它方法实验结果对比准确率灵敏度特异度SPM-BoW90.4%90.6%90.0%病理对象特征87.5%92.2%80.1%基于SPM-BoW的方法在分类准确率和特异度方面都取得比基于病理对象特征的方法更好的效果。在前列腺病理图像诊断中，如果正常的图像被算法判为癌变的就被称作为假阴性，灵敏度越高的说明假阴性率就越低；如果癌变的图像被算法判为正常的图像被称作为假阳性，特异度越高的说明假阳性率就越低。在实际诊断中，如果一个癌变的图像被算法判为正常的图像，那么有可能使患者错过最佳的治疗，给患者带来严重的后果。所以在准确率相差不多的情况下，具有更高特异度的算法更具实际应用价值。4.5本章小结本章详细阐述了前列腺癌病理图片的识别方法。由于正常的前列腺病理图像和癌变的前列腺病理图像在全局空间结构上存在明显的差异，所以本章利用基于SPM-BoW模45 华南理工大学硕士学位论文型来对前列腺病理图像进行整体描述，并用SVM分类器对前列腺癌病理图像进行分类。总共有前列腺病理图像384幅，其中正常的前列腺病理图像215幅，训练集有151幅，测试集有64幅；癌变的前列腺病理图像169幅，训练集有129幅，测试集有40幅。进行5次实验，每次实验的训练集和测试集均随机选取，结果取5次实验的均值。在取字典大小为300，金字塔层数为3层时，分类效果是最优的。准确率为90.4%,灵敏度为90.6%，特异度90.0%。并与其它前列腺癌识别算法进行了对比实验，相比基于病理对象特征的分析方法，获得了更高准确率和特异度。46 总结与展望总结与展望本文以H&E染色的前列腺病理图像作为研究对象，利用前列腺病理图像的局部信息和空间信息，通过机器学习的方法，设计出适合前列腺病理图像识别算法和癌变的前列腺病理图像识别算法，对开发高效、智能的前列腺计算机辅助诊断系统，辅助医生进行诊断，提高诊断准确率有一定帮助。本文主要完成工作如下所示：1)通过查阅大量文献和资料，了解了国内外前列腺病理图像的分析方法，主要还是提取出病理对象，计算相应特征，并进行分类。2)深入研究了深度学习算法，对基于稀疏自编码的深度学习算法进行了实现。并将其应用到前列腺病理图像上，用深度网络学习出前列腺病理图像的局部纹理不变特征。3)研究了前列腺病理图像来源判断的算法，通过深度学习算法学习出前列腺病理图像局部纹理的不变特征，然后结合Softmax回归分类器对前列腺病理图像中随机选取的图像块进行分类，最后ROC曲线选取整幅图像全局判断的阈值，达到对整幅图像进行分类的目的。4)研究了前列腺癌病理图像的识别技术，利用前列腺癌病理图像在全局空间信息上与正常前列腺病理图像的差异，利用基于空间金字塔的词袋模型对前列腺病理图像进行描述，并用SVM分类器进行分类，最后得到准确率85.6%,灵敏度86%，特异度85%。本文为前列腺计算机辅助诊断技术提供了新的思路，用机器学习的方法直接从前列腺病理图像的结构信息入手，利用机器学习的方法，学习前列腺病理图像的局部特征和全局特征，使分类方法对图像具有更强的鲁棒性。由于前列腺病理图像本身的复杂性，实验条件,以及作者本身水平、时间的限制，本文还有很多可以改善的地方：1)对于前列腺病理图像，采集样本方面有一定难度，样本集的数量还不够多，而对于机器学习的方法，样本集数量只有足够多了以后，才能充分学习到图像的足够好的特征表示。在以后的研究中，多收集病例样本；同时采集图像的过程也需要一套标准化的流程，否则受人为因素的影响，可能采集图像就先天存在一定的差异。2)对于深度学习的方法，目前直接把前列腺病理图像中的图像块按像素作为输入，3030的图像块就相当于900维的输入特征，如果隐藏层有200个单元，那么连接权重W就有180000维，在需要学习更大图像块以及更多隐藏单元时，占用的资源就会更多。所以就需要考虑如何能进行优改方法对大图像块的学习，以学习到更多特征。3)在对前列腺癌的分类识别方面，本文只试验了DSIFT特征，并没有对特征选择方47 华南理工大学硕士学位论文面展开讨论。以后的研究中，可以考虑更多的特征以及多特征融合的方法，这可能会是另外一个研究方向。48 参考文献参考文献[1]蒋智铭,张惠箴,郑莉.前列腺诊断病理学[M].上海:上海科技教育出版社,2008:1-2,32-32,50-51。[2]叶敏.“前列腺疾病新进展”专题研讨会简介.中华泌尿外科杂志,2002,23(8):506-506。[3]杨振森,李传富等.基于小波变换的超声图像纹理特征提取及前列腺癌诊断[J].航天医学与医学工程,2009,22(4):281-285。[4]李欣,王禾,张盈涛等.正常前列腺和良性前列腺增生组织成分的图像分析研究[J].西北国防医学杂志,2003,24(2):110-112。[5]XiangminXu,XiaojieXing,YushengHuang,etal.OntheClassificationofProstatePathologicalImagesBasedonGleasonScore[A].IEEE/IITAIntelligentInformationTechnologyApplication[C].Shanghai,China:IEEECS,2008:605-608.[6]邢晓洁.前列腺癌病理切片图像诊断技术研究[D].广州：华南理工大学2010。[7]黄宇生.前列腺切片图像中病理对象分割与癌识别算法研究[D].广州:华南理工大学2011。[8]李敏.前列腺病理切片图像中对象的分割及其特征提取[D].广州:南理工大学2012。[9]LeQV,HanJ,GrayJW,etal.Learninginvariantfeaturesoftumorsignatures[A].BiomedicalImaging(ISBI),20129thIEEEInternationalSymposiumon[C].Barcelona,Spain:IEEE,2012,302–305.[10]Cheng-HsiungLee,P.W.Huang.ClassificationforPathologicalProstateImagesBasedonFractalAnalysis[A].Proceedingsofthe1stInternationalCongressonImageandSignalProcessing[C].Sanya,Hainan,China:IEEECS,2008:113-117.[11]TabeshA,KumarVP,PangHY,etal.AutomatedprostatecancerdiagnosisandGleasongradingoftissuemicroarrays[A]MedicalImaging.InternationalSocietyforOpticsandPhotonics[C],SPIE,2005:58-70.[1-12]TabeshA,TeverovskiyM,PangHY,etal.MultifeatureprostatecancerdiagnosisandGleasongradingofhistologicalimages[J].MedicalImaging,IEEETransactionson,2007,26(10):1366-1378.[12]NaikS,DoyleS,AgnerS,etal.Automatedglandandnucleisegmentationforgradingofprostateandbreastcancerhistopathology[A].BiomedicalImaging:FromNanotoMacro,2008.ISBI2008.5thIEEEInternationalSymposiumon[C].IEEE,49 华南理工大学硕士学位论文2008:284-287.[13]KaiYu,AndrewNg,ECCV-2010Tutorial:FeatureLearningforImageClassification[R],Greece:IEEE,2010.[14]LiuJS.MontoCarlostrategiesinscientificcomputing[M].NewWork:Springer-Verlag,2001.[15]HintonGE.Trainingproductsofexpertsbyminimizingcontrastivedivergence[J].NeuralComputation,2002,14(9):1771-1800.[16]G.E.Hinton,S.Osindero,andY.The,Afastlearningalgorithmfordeepbeliefnets[J].NeuralComputation.2006,18(7):1527–1554.[17]Xu,Xiangmin;Huang,Yusheng;Xing,Xiaojie;Ling,JianwenRecognitionAlgorithmforProstateCalculusBasedonTransitionRegionandPCA-SVM[A]IntelligentInformationTechnologyApplication,2009.IITA2009.ThirdInternationalSymposiumon[C]Nanchang,China:IEEE,2009,602-605.[18]GraumanKandDarrellT.Thepyramidmatchkernel:discriminativeclassificationwithsetsofimagefeatures[A].IEEEInternationalConferenceonComputerVision[C],Beijing,China,Oct.17-21,2005:1458-1465.[19]Lazebnik,Svetlana;Schmid,Cordelia;Ponce,Jean.BeyondBagsofFeatures:SpatialPyramidMatchingforRecognizingNaturalSceneCategories[A].ComputerVisionandPatternRecognition,2006IEEEComputerSocietyConferenceon[C].NewYork,USA:IEEE,2006,2:2169-2178.[20]D.G.Lowe,"Distinctiveimagefeaturesfromscale-invariantkeypoints,"IJCV,vol.2,no.60,pp.91110,2004.[21]LoweDG.Distinctiveimagefeaturesfromscale-invariantkeypoints[J].Internationaljournalofcomputervision,2004,60(2):91-110.[22]LindebergT.Scale-spacetheory:Abasictoolforanalyzingstructuresatdifferentscales[J].Journalofappliedstatistics,1994,21(1-2):225-270.[23]CsurkaG,DanceC,FanL,etal.Visualcategorizationwithbagsofkeypoints[A]Workshoponstatisticallearningincomputervision[C],Czech:ECCV.2004,1:22.[24]SwainMJ,BallardDH.Colorindexing[J].Internationaljournalofcomputervision,1991,7(1):11-32.[25]SwetsJA.SignaldetectiontheoryandROCanalysisinpsychologyanddiagnostics:Collectedpapers[M].Mahwah,NJ:LawrenceErlbaumAssociates,1996.[26]BengioY.LearningdeeparchitecturesforAI[J].FoundationsandTrends®inMa50 参考文献chineLearning,2009,2(1):1-127.[27]CortesC,VapnikV.Supportvectormachine[J].Machinelearning,1995,20(3):273-297.[28]SmolenskyP.Informationprocessingindynamicalsystems:Foundationsofharmonytheory[J].1986.[29]NgA.Cs294alecturenotes:Sparseautoencoder[J].2010.[30]HintonGE,OsinderoS,TehYW.Afastlearningalgorithmfordeepbeliefnets[J].Neuralcomputation,2006,18(7):1527-1554.[31]BoserBE,GuyonIM,VapnikVN.Atrainingalgorithmforoptimalmarginclassifiers[A].ProceedingsofthefifthannualworkshoponComputationallearningtheory[C].ACM,1992:144-152.[32]SchölkopfB,BurgesC,VapnikV.Extractingsupportdataforagiventask[A].Proceedings,FirstInternationalConferenceonKnowledgeDiscovery&DataMining[C].AAAIPress,MenloPark,CA.1995:252-257.[33]DudaRO,HartPE,StorkDG.模式分类[M].机械工业出版社,2009:235-240.51 华南理工大学硕士学位论文攻读硕士学位期间取得的研究成果一、已发表（包括已接受待发表）的论文，以及已投稿、或已成文打算投稿、或拟成文投稿的论文情况（只填写与学位论文内容相关的部分）：被索作者（全体相当于学位序发表或投稿刊物名发表的卷期、引收作者，按顺题目论文的哪一号称、级别年月、页码录情序排列）部分（章、节）况注：在“发表的卷期、年月、页码”栏：1如果论文已发表，请填写发表的卷期、年月、页码；2如果论文已被接受，填写将要发表的卷期、年月；3以上都不是，请据实填写“已投稿”，“拟投稿”。不够请另加页。二、与学位内容相关的其它成果（包括专利、著作、获奖项目等）52 致谢致谢时间飞逝，三年的研究生生涯即将结束，感慨万千，有许多人需要感谢。首先要感谢我的指导老师徐向民教授，在整个研究生期间，徐老师不仅在学术课题研究方面给了很多指导，而且还为我们提供大量工程实践和锻炼的机会，为实验室的同学们创造了良好的学习氛围。徐老师渊博的知识，丰富的科研经验，为我的课题研究指明了方向。在平时生活中，徐老师也非常关心照顾我们。其次，还要感谢实验室的邢晓芬老师，正是有你的帮助和指导，本课题才能顺利完成，每次与邢老师的讨论，都能让我收益良多。本课题的研究工作得到了广州军区广州总医院前列腺病理科王卓才主任的大力支持，本文所有医学图片都是由王主任提供，而且还教给了我们许多前列腺病理学方面的知识。王主任扎实的专业知识、严谨的工作作风都是本课题得以完成的保证。在此，向王主任致以最诚挚的感谢。本课题的研究过程中，还得到了课题组成员的许多帮助。感谢本课题研究组的所有师兄师姐以及各位同学，感谢你们平时的讨论与建议，从你们身上学到了许多。感谢我的父母，是您们无私的关怀与奉献，才让我得以顺利完成学业。最后，衷心感谢研究生期间给予过我帮助的老师、同学以及朋友，祝愿各位生活美满，工作顺利。53 54