基于卷积神经网络的葡萄叶片病害检测方法研究

《基于卷积神经网络的葡萄叶片病害检测方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

分类号密级UDC单位代码10733甘肃农业大学硕士学位论文基于卷积神经网络的葡萄叶片病害检测方法研究ResearchonGrapeLeafDiseaseDetectionbasedonConvolutionalNeuralNetwork刘阗宇指导教师姓名冯全教授（甘肃农业大学兰州730070）学科专业名称农业电气化与自动化研究方向图像处理论文答辩日期2018年5月20日学位授予日期2018年6月答辩委员会主席党建武教授评阅人胡晓辉教授刘成忠副教授2018年6月 甘肃农业大学2018届硕士学位论文摘要近年来，农业生产正逐渐向自动化的方向发展，对农业生产中机器播种、自动灌溉等已有研究成果，但对基于机器视觉的病害检测方法还处于研究中。目前基于机器视觉的病害自动检测方法一般是在理想的条件下进行，将研究对象放置于简单背景下进行试验。本文以酿酒葡萄叶片为研究对象，对自然条件下的葡萄叶片表面病害区域研究，并提出采用基于机器视觉的方法来对病害进行自动检测，在监控图像中，根据计算机端检测到的叶片表面信息，可以实现对生长中的葡萄进行状态评估。本文的检测算法采用多角度建议区域的Faster-RCNN对图像中的葡萄叶片进行准确定位，在检测到的叶片上进行病害检测。相比直接在图像中进行病害检测，去除了背景因素对病害区域的干扰，有效降低了误检率。在叶片检测中，本文提出改进后的区域建议算法在一幅图像中产生更高质量的叶片候选区，用于适应自然条件下各种姿态的葡萄叶片。实验数据表明，该算法对自然图像中葡萄叶片的检测有良好的适应性。实验中对六种不同天气条件下拍摄的图像进行了数据统计，对一般叶片检测算法的平均mAP为75.52%，明显高于传统算法。在病害检测时，考虑到检测器会将图像中的背景区域误判断为病害区域，针对此问题，本文提出两种病害检测方法。对第一种方法，从一幅图像中检测到的每个单个叶片，或将整幅图像对叶片取掩模后，作为下一级病害检测器的输入图像。实验结果表明，对第一种方法，对6种常见葡萄病害的平均mAP为66.47%，其中对褐斑病与白粉病的mAP超过70%；对第二种方法，病害检测平均mAP为51.44%，但平均检测时间比第一种方法节约75%。两种方法性能均优于在原始图像上直接进行病害检测法。为直观的显示出病害检测效果，本文将病害检测的所有流程统一到基于Matlab的图形化界面中，对叶片检测、病害检测等模块设计GUI人机交互界面，在图像的采集过程中，采用树莓派控制远程摄像头，通过读取摄像头中拍摄的一帧图像或加载本地图像，实现在线监测。关键词：卷积神经网络；葡萄叶片；Faster-RCNN；叶片检测；病害检测；GUI人机交互界面I 甘肃农业大学2018届硕士学位论文SummaryInrecentyears,agriculturalproductionisgraduallydevelopingforthedirectionofautomation.Therehavebeenresearchachievementonmachineseedingandautomaticirrigationinagriculturalproduction,butthedetectionmethodbasedonmachinevisionisstillunderresearch.Atpresent,automaticdetectionmethodofdiseasebasedonmachinevisionisgenerallycarriedoutunderidealconditions,theresearchsubjectswereplacedundersimplebackgroundfortesting.Inthispaper,thegrapevineleavesweretakenastheresearchobject,andthesurfacelesionsofgrapeleavesundernaturalconditionswerestudied.Themachinevision-basedmethodwasusedtodetectthediseaseautomatically.Inthemonitoringimages,wehaveusedthesurfaceinformationofthebladedetectedthroughthecomputer.Thestatusassessmentofgrowinggrapescanbeachieved.ThedetectionalgorithmofthispaperusestheFaster-RCNNinthemulti-anglesuggestionareatoaccuratelylocatethegrapeleavesintheimageanddetectthediseaseonthedetectedleaf.Comparedwiththedirectdetectionofthediseaseintheimage,theinterferenceofthebackgroundfactortothediseaseareaiseliminated,andthefalsedetectionrateiseffectivelyreduced.Duringtheleafdetection,thispaperproposesanimprovedproposalsalgorithmtogeneratehigher-qualitybladecandidateregionsinanimage,whichcanbeusedtoadapttograpeleaveswithvariousposturesundernaturalconditions.theexperimentaldatashowthatdatashowthatthealgorithmhasgoodadaptabilitytothedetectionofgrapeleavesinnaturalimages.Intheexperiment,theimageofsixdifferentweatherconditionshasbeenstatisticallyrecorded,andtheaveragemAPoftheaverageleafdetectionalgorithmis75.52%,whichissignificantlyhigherthantraditionalalgorithms.Duringthedetectionofthedisease,consideringthatthedetectorwillmisjudgethebackgroundareaintheimageasadiseasearea,thispaperproposestwomethodsfordetectingdiseases.Forthefirstmethod,eachsingleleafdetectedfromoneimage,ortheentireimageismasked,isusedastheinputimageforthenextlevelofdiseaseII 甘肃农业大学2018届硕士学位论文detector.Theexperimentalresultsshowthatforthefirstmethod,theaveragemAPfor6commongrapediseasesis66.47%,andthemAPforbrownspotandpowderymildewexceeds70%;forthesecondmethod,theaveragemAPfordiseasedetectionis51.44%.However,theaveragedetectiontimeis75%lessthanthefirstmethod.Bothmethodsperformbetterthanthedirectdiseasedetectionmethodontheoriginalimage.Inordertovisuallydisplaytheeffectofdiseasedetection,thispaperunifiedalltheprocessesofthediseasedetectionintothegraphicalinterfacebasedonMatlab,designedGUIhuman-computerinteractioninterfaceforbladedetection,diseasedetectionandothermodules.Intheprocessofimageacquisition,thetreeblackberrywasusedtocontroltheremotecamera,andtheonlinemonitoringwasrealizedbyreadinganimagecapturedinthecameraorloadingalocalimage.Keywords:convolutionneuralnetwork;grapeleaf;Faster-rcnn;leafdetection;diseasedetection;GUIMan-machineinterfaceIII 甘肃农业大学2018届硕士学位论文目录摘要.............................................................................................................................................ISummary..........................................................................................................................................II第一章绪论.................................................................................................................................11.1论文的背景与意义....................................................................................................................11.2国内外研究现状........................................................................................................................31.3本文研究的主要内容................................................................................................................7第二章传统目标检测方法.............................................................................................................82.1DPM算法与葡萄叶片检测的应用...........................................................................................82.1.1DPM检测结构..................................................................................................................82.1.2HOG描述子......................................................................................................................92.1.3滤波器...............................................................................................................................92.1.4可变部件模型...................................................................................................................92.1.5葡萄叶片检测的应用.....................................................................................................112.2EdgeBoxes算法与葡萄叶片检测的应用...............................................................................122.2.1EdgeBoxes算法..............................................................................................................122.2.2葡萄叶片候选区.............................................................................................................132.3本章小结..................................................................................................................................14第三章卷积神经网络与目标检测...............................................................................................153.1卷积神经网络概念..................................................................................................................153.2卷积神经网络模型..................................................................................................................173.3卷积神经网络的优点..............................................................................................................173.4R-CNN......................................................................................................................................183.5Fast-RCNN................................................................................................................................203.6Faster-RCNN............................................................................................................................213.6.1Faster-RCNN架构...........................................................................................................213.6.2RPN网络结构.................................................................................................................233.6.3损失函数的定义.............................................................................................................243.6.4Faster-RCNN案例...........................................................................................................253.7本章小结..................................................................................................................................26第四章葡萄叶片检测...................................................................................................................274.1叶片数据采集..........................................................................................................................274.2叶片检测算法优化..................................................................................................................284.3叶片检测结果..........................................................................................................................304.4本章小结..................................................................................................................................33第五章叶片病害检测...................................................................................................................345.1试验样本采集..........................................................................................................................345.2病害检测方法..........................................................................................................................355.3病害检测结果..........................................................................................................................375.4本章小结..................................................................................................................................40第六章病害检测图形界面设计...................................................................................................416.1系统框架..................................................................................................................................416.2图像采集..................................................................................................................................416.3MatlabGUI模块......................................................................................................................42IV 甘肃农业大学2018届硕士学位论文6.4GUI系统的组成.......................................................................................................................446.5本章小结..................................................................................................................................45第七章总结与展望.......................................................................................................................467.1总结..........................................................................................................................................467.2展望..........................................................................................................................................47致谢.................................................................................................................................................49参考文献.........................................................................................................................................50导师简介.........................................................................................................................................56作者简介.........................................................................................................................................58V 甘肃农业大学2018届硕士学位论文第一章绪论1.1论文的背景与意义农业是我国国民经济的发展的重要基础。目前，农业产量很大程度上受限于农作物的病害带来的灾害，它具有种类多、影响大、易传播等特点，其传播范围和严重程度对我国农业生产造成重大的损失。现阶段对农作物病害的防治主要以人工或范围性喷洒农药为主，在日益城市化的国家发展形势下，人工防治病害的方式会消耗很大的劳动力；范围性防治的途径虽节省人力资源，但无法准确的对病害植株具体的病害部位定位喷洒，以及对正常植株误喷洒造成危害。现代农业生产的方式正逐渐向无人操作的机器自动化靠拢，如农田中自动[1-2][3-4][5-7]灌溉技术、联合收割或农业机器人等装备，提高生产作业的效率和产量。目前我国对于基于信息技术的精细化农业还待深入研究，如对农作物生长状态的监测、病害的防治的研究还处于发展中。当前的发展方向越向精准的农作物培养，以提高农作物质量为主。随着科技的发展与生活的日益完善，人工智能已逐渐走进人类生活，基于机器视觉算法的应用已不断普及于生活中，如[8-10][11-13][14-16][17-19]车辆检测、行人检测、物体跟踪、目标识别等实际应用，代替了传统人工操作的方式，极大提高了生产效率。因此，在农业领域中，如何利用基于机器视觉的目标检测算法，用来准确定位农作物病害区域，后将检测信息传递到计算机端来控制农业生产设备自动防治病害的途径在很大程度上能提高农作物生产的质量，但农作物病害在图像中分布复杂，检测任务难度较大，需采用合适的算法来进行准确检测。酿酒葡萄是指以酿造葡萄酒为主要生产目的的葡萄品种。在我国主要的酿酒葡萄产区分布在华北地区，渤海湾地区，新疆，甘肃、宁夏等地。葡萄酒是一种营养丰富的高级饮品，不仅口感好，而且对身体健康有诸多益处，具有美容养颜、预防心脑血管疾病、有助于消化等优点。随着生活质量的不断提升，葡萄酒的销量也在日益增加，到2021年，中国葡萄酒市场价值将达到230亿美元，与2016年相比增长53.3%。从消费上来讲，中国市场将消费1.62亿箱至1.92亿箱葡萄酒。在酿酒葡萄的种植面积在不断扩大的同时，保证葡萄种植的1 甘肃农业大学2018届硕士学位论文质量是该产业当前的发展重点。高质量的种植需适宜的气候和环境，西北地区的地理环境较适宜酿酒葡萄的种植，在甘肃、宁夏等地均有大量的酿酒葡萄栽培区域，截止2015年，甘肃省酿酒葡萄种植面积已达到30.83万亩，占全国总面积的18%，为我国葡萄酒产业提供充足的酿造原料。同时，大规模的葡萄种植避免不了病害对葡萄种植的危害，在如今各个产业高度自动化的现代社会中，将人工智能、机器视觉方面的计算机技术应用到酿酒葡萄病害自动检测的产业中，是提高酿酒葡萄生产质量的有效方法。目标检测是对图像中感兴趣的目标画出一个范围，然后用矩形将此目标框选出，并为此贴上一个类别标签。基于机器视觉技术的植物病害自动检测对于农作物生长状态监测、病害危害程度评价、自动喷药等后续工作具有重要的意义。利用计算机视觉对葡萄叶片表面病害有无的判断和病害位置、范围的确定，能对葡萄的生长状态进行自动监测；从叶片检测范围的面积大小能对葡萄受病害影响的严重程度做出估计；此外，对叶片中的病害区域进行准确定位后，将检测信息反馈到计算机中并加入控制可以实现农药喷头自动对准葡萄病害进行防治，实现农业生产高度自动化，实现精准的病害检测质量是保证后续防治、监测等后续工作的前提。在葡萄种植区，监控摄像头获取的叶片图像中除叶片本身外，还存在其它因素的干扰。实际葡萄种植区中的杂草、地面、地膜、葡萄果实等干扰，此类非感兴趣区域在图像各个颜色分量的灰度值与病害区域有相似之处，如图像中地面、黑地膜，与葡萄褐斑病、炭疽病在图像的颜色特征有相似，计算机将此类非感兴趣区域判断为葡萄病害区域而造成误检测；环境变化对检测结果也存在负面影响，如光照强度、天气变化、叶片形变（如风吹动叶片导致叶片形状发生改变）等因素，不同环境下，叶片病害区域在图像中的灰度值会发生变化，光照强度的变化使得图像中感兴趣区域各个图像通道数值变化，对非目标区域也会产生影响，若目标检测的算法精度低，对图像的数据处理不当同样会造成误检测。现有的病害检测研究方法较少，大多是以病害识别为主，目标检测的方法普遍针对车流、行人等目标，该类目标轮廓规则且单一、相互无遮挡、图像背景简单、易检测。但是葡萄叶片上的病害区域具有面积小、不规则、分布不均等特点，传统的检测方法适应性差。2 甘肃农业大学2018届硕士学位论文1.2国内外研究现状近年来，基于机器视觉的目标检测算法不断的革新，检测精度也不断提高。国内外的研究员针对不同类别的目标提出了很多有可行性的算法，广泛应用于实际场景中。现有的目标检测算法主要围绕以下三种数学模型构建。（1）基于滑动窗口提取特征的目标检测算法基于滑动窗口的目标检测算法流程为：将一幅图像分解成一定数量的不同位置、尺度的子窗口，针对每一个窗口，使用分类器判断是否包含目标物体，该类方法针对不同类别的物体，会设计不同的特征和分类器。常用的目标特征有颜色[20-22][23-25]特征、纹理特征、方向梯度直方图特征（HistogramofOrientedGradient，[26-28]HOG）等，后将此类特征进行大量样本训练，最后通过模板匹配的方式检测。该类算法具有一定的抗噪声能力，对图像中轮廓清晰的单个目标检测效果好，但对多目标之间有相互遮挡的情况中，无法准确获取单个目标的轮廓，使得模板[29]无法正确匹配。由Felzenszwalb于2008年提出的可变部件模型算法（DeformablePartModel，DPM）是最成功的一种基于滑动窗口的检测算法，该算法在多尺寸图像的基础上提取HOG特征，有效解决了目标尺度不同的问题，对实际场景的[30]应用广泛。李士进等人提出隐马尔可夫模型（HiddenMarkovModels，HMM）结合奇异值特征的人脸检测方法，该方法对正向人脸的检测率达到85.1%，且运行速度快，但对图像中任意旋转角度的人脸检测率低，仅有72.2%，在实际场所[31][32]中应用范围窄。种衍文等人提出一种支持向量机(Supportvectormachine，[33]SVM)和自适应增强算法(Adaboost)的两级行人检测方法，该方法提取图像的粗略特征与精细特征，分别进行机器学习，可分辨出行人以及类似行人的目标，检测精度优于传统的Adaboost算法，但对多目标的行人相互影响的情况下，该检测[34]方法仍无法准确定位。在农业应用中，马媛等人提出将葡萄叶片图像的方向梯度直方图(HOG)特征投入到支持向量机(SVM)分类器中，并结合多尺度目标定位和[35]均值漂移算法自动确定图像中葡萄叶片的位置，但该算法只针对简单背景下的[36]叶片检测，无法在自然条件下检测。杨森等人提出基于改进的DPM葡萄叶片检测算法，提出多角度可变部件模型结合图像金字塔，对图像中姿态不同的叶片检测效果提升，并选择在图像G/R分量中提取HOG特征，消除了光照变化造成的影3 甘肃农业大学2018届硕士学位论文响。但该方法需要对图像中每一个位置进行滤波扫描，检测速度较慢，并且对自然条件下多叶片相互遮挡的情况下，检测精度低。因此，对实际视场中具有复杂背景以及强干扰因素的条件下，需采用更先进的检测算法以获取更高的检测精度。（2）基于候选区域的目标检测算法对传统检测方法的不足，国外研究员提出一种新颖的目标检测策略，从图像中获取候选区域。候选区域表示目标可能存在的位置，这些区域数量比滑动窗口数少很多，并且能有很高的召回率，就能在进一步使用复杂的分类器时提高效率，这种方法就是候选区域的方法。该方法在适用于待检测目标处于复杂的背景的情况下，并且对光照强度、图像旋转、噪声干扰、图像模糊等干扰因素有良好的鲁棒性。文献[37]中对生成候选区域的12种常见方法进行了深度评测。结果表明，候选区域定位越准确，对分类器的帮助越大，文中的试验算法在PASCALVOC[38][39]2007和ImageNet数据集中，各算法所生成候选区域的质量高，表现基本一致，对不同的目标类别有良好的适应性，具有一定的泛化能力。候选区域的生成方法分为主要分为以下两类：第一类为分组的方法，首先将图片按照像素级分开，然后再进行聚合，将同类或邻近有一定关系的像素点聚合在一起，生成目标可能存在的位置。Selective[40]Search是一种分组生成候选区的方法，该算法首先通过简单的区域划分算法，将图片划分成很多小区域，再通过相似度和区域大小（小的区域先聚合，这样是防止大的区域不断的聚合小区域，导致层次关系不完全）不断的聚合相邻小区域，类似于聚类的思路。在图像中，同一个物体在像素点尺度上具有一定的相似性，如颜色相似性，纹理相似性，尺度相似性等等。SelectiveSearch正是利用了同一物体在像素点尺度范围的相似性，不断的去合并一些达到预设相似性阈值的相邻像素点，从而将可能属于同一物体的像素点合并，形成一个区域边界。这样将一张图像中所有具有一定相似性的像素点合并，形成一些可能属于同一物体的区域集，作为下一步用来检测的区域集，即目标可能存在的范围。评估结果中，Selectivesearch在分组类的方法中表现最好，其余算法如ConstrainedParametric[41][42][43]Min-Cut（CPMC）、Endres、Multiscalecombinatorialgrouping（MCG）、[44]Rigor等同一类别的算法在评估中的表现均优于传统基于滑动窗口的算法。第二类为窗口得分的方法，该方法不采用聚合像素来生成候选区，而给各个4 甘肃农业大学2018届硕士学位论文可能存在目标的窗口进行打分来产生。与前者（分组方法）相比，窗口得分的方法生成速度较快，但目标定位的精度低，其中某些方法针对此问题，会在生成窗[45]口的基础上进行调整。此类方法在评估中表现好的如EdgeBoxes，该算法利用图像的边缘信息，确定目标包围框内的轮廓个数和重叠的边缘个数（若一个区域内包含目标的完整轮廓，那么目标极可能在此区域中），基于以上基准对候选区域进行评分，根据得分的高低顺序确定候选区的信息（由大小，长宽比，位置构[46]成）。而后续工作就是在候选区内部运行相关检测算法。朱盈盈等人提出一种改进后的EdgeBoxes算法，对分割后的文字区域提取候选框，以达到文字检测的[47]效果，在自然场景中表现出良好的实用性。BING也是一种得分式的候选区提取方法，有效用于一般对象的估计，通过此特征训练通用的对象估计方法来产生一组候选对象窗口。在封闭的轮廓中，图像的梯度变化很小，所以它是一个很好的可区分物体和背景的特征，该算法基于同一物体在梯度空间的共性来确定候选区，对目标的尺度、纵横比、位置适应性高。在具体实验数据中，该方法很高效的产生一系列类别独立，高分辨率的对象窗口，通过使用1000个建议窗口，目标检测准确率达到96.2%。通过增加建议窗口的数量或者考虑颜色空间来计算BING特征，实验结果可以提高到99.5%。基于候选区的方法具有适应场景广、运行速度快等特点，该算法往往不需要对特定的对象进行学习，就能产生高质量的结果，但仍需在后续工作中接入检测器来完成目标检测，且生成候选区的质量与数量成正比，数量越多，越可能涵盖图像中所有的待检测目标，生成大量的包围盒同样使得后续的检测任务繁重。（3）基于卷积神经网络的目标检测方法[48]卷积神经网络作为一种深度学习模型，能够从数据中自动学习并提取特征，其泛化能力显著优于传统算法，已成功应用于图像识别与语音识别等方面。卷积神经网络是一种多层的学习网络，由输入层，隐含层（包括卷积层和下采样层）和输出层组成，每一层都是一种变换（映射），常用变换有卷积变换、池化变换、批量标准化、Dropouts等操作。其中，卷积变换为卷积神经网络的核心思想，采用数学中的卷积运算对图像中数据进行处理，提取图像中的特征，称为卷积特征，该种特征体现了图像的深层信息；池化变换是对图像的每个局部区域进行标量变换，就像卷积操作一样，然而，与卷积不同的是它们没有过滤器，也不用局部区5 甘肃农业大学2018届硕士学位论文域计算点积，而是计算区域中像素的平均值（averagepooling），或者简单地选取最大像素并丢弃其余部分（MaxPooling）；批量标准化是将每一幅图像都标准化，从而得到零均值和单位方差，该操作解决了信息通过网络传播造成的数据分布变化而引起的梯度消失，使得数据迭代无法收敛；Dropouts是一种抑制过度拟合的技巧，它可以随机地将一些激活值设置为0，从而避免过度拟合。通过这样做，网络不得不探索更多分类图像的路径而不是过度依赖于某些特征。由于卷积神经网络的引入，基于机器视觉的目标检测算法相比传统算法在检测[49]精度上有了质的提升。采用卷积神经网络的目标检测算法（RegionswithConvolutionalNeuralNetwork，R-CNN）是该领域的先例，该算法首次采用了图[50]像的卷积特征取代的HOG，LocalBinaryPatterns（LBP），[51]ScaleInvariantFeatureTransform（SIFT）等算法来对图像的特征，该算法结合了候选区的方法（SelectiveSearch）并将候选区作为卷积神经网络的输入，对每一个候选区域进行卷积特征提取，包括卷积、池化等操作，得到固定维度的输出，最后根据上一步的输出向量进行分类以及对目标包围盒边框回归，得到最后的输出位置。该种算法的提出解决了多目标、多类别检测中的问题，如目标之间存在相互干扰以及图像场景变化等影响。但带来高精度的同时耗时更长，因图像中产生的每一个候选区都要进行卷积、池化等运算（一幅图像约产生2000个候选区），大量的运算不能带来实用价值；Fast-Regionbased[52]ConvolutionalNeuralNetwork（Fast-RCNN）算法的提出有效的解决了数据运算时间的问题，该方法在基础算法R-CNN的基础上进行了改进，该算法的网络[52]输入为一幅完整的图像，提高了算法的效率，并引入RoIPoolingLayer，使得最后一个卷积层特征进行池化操作并产生固定大小卷积特征图，进而匹配后续的全连接层。Fast-RCNN算法缩短了图像数据处理的时间，但在算法结构上依然是采用外接形式（候选区域的产生采用SelectiveSearch算法），并未在结构上进行统一，实现端到端的训练和检测；在Fast-RCNN的基础上，研究员提[53]出Faster-RegionbasedConvolutionalNeuralNetwork（Faster-RCNN）算法将目标检测流程完全统一到一个流程之内，实现了端到端的训练。该算法采用了[53]区域建议网络（RegionProposalNetworks，RPN），它和检测网络共享全图的卷积特征，使得候选区的产生几乎不花时间。RPN是一个全卷积网络，在每个6 甘肃农业大学2018届硕士学位论文位置同时预测目标边界和目标类别得分，通过对RPN进行单独的训练，可以形[38][54]成更高质量的建议区域。在PASCALVOC2007和PASCALVOC2012上取[37]得了较高的平均精度（meanAveragePrecision，mAP）1.3本文研究的主要内容本论文主要研究了自然条件下葡萄叶片表面的病害检测。首先对实际场景中拍摄到的叶片进行定位，然后在检测到的叶片区域进行病害检测，在病害检测过程中提出了两种检测策略，分别给出了检测结果以及对比数据。研究过程中，本文详细介绍了改进后的Faster-RCNN算法，适应于自然条件下各种姿态的叶片检测，为病害检测建立良好基础。文章主要围绕以下内容进行详细论述。第一章，绪论。主要阐述了本研究内容在农业领域中应用的背景以及研究意义，并介绍了在机器视觉目标检测领域中对的研究现状。第二章，传统目标检测方法。本章内容中介绍了基于滑动窗口的目标检测算法DPM以及候选区域的方法EdgeBoxes算法，对两种基本算法的优缺点进行总结，并给出了叶片检测的试验结果。第三章，卷积神经网络与目标检测。本章内容中详细介绍了卷积神经网络的概念以及常用的框架模型，并对三种基于卷积神经网络的目标检测算法详细介绍，本文所采用的检测算法为Faster-RCNN检测框架结合VisualGeometry[55]Group（VGG16）网络模型。第四章，叶片检测。根据叶片的形状特性，对叶片在图像中的长宽比进行[53]聚类，找到合适的长宽比对Faster-RCNN算法中的锚点（Anchor）进行改进，使得算法检测精度提高。第五章，病害检测。在叶片检测的基础上，本文提出两种病害检测策略进行病害检测，掩模法和单个叶片病害检测方法，并分别给出了两种检测策略的试验数据以及优缺点对比。第六章，病害检测图形界面设计。本文在Matlab平台上搭建人机交互界面，将图像读取、叶片检测、病害检测内容整合到一个可视化平台上。第七章，总结与展望。总结了论文的研究成果以及研究内容的缺陷，并对研究方向的未来进行展望。7 甘肃农业大学2018届硕士学位论文第二章传统目标检测方法在计算机视觉领域里，将图像中的感兴趣目标用一个矩形框选出来，得到目标在图像中的具体位置并判断其归属类别，该种图像处理方式称为目标检测。目前，目标检测算法的基本类型主要分为滑动窗口类型、候选区类型、基于卷积神经网络的区域建议算法等，以上三种类型的检测算法在本文1.2国内外研究现状章节中已有介绍。在本章节中，将对两种传统的目标检测算法举例介绍，以及对精细化农业的应用（如叶片检测）分别给出具体的检测效果。2.1DPM算法与葡萄叶片检测的应用2.1.1DPM检测结构DPM算法是一种典型的窗口扫描目标检测方法，在2007-2009三年时间，都获得了PASCALVOC目标检测比赛的冠军。目标模型包括一个全局的根滤波器和几个部件模型。每个部件模型包括一个空间模型和一个部件滤波器，空间模型定义了一系列此部件相对于检测窗口的空间位置，以及每个相对位置的形变损失定义。检测窗口的得分是根滤波器的分数加上各个部件的分数总和，每个部件的分数是此部件的各个空间位置得分的最大值，每个部件的空间位置得分是部件在该子窗口上滤波器的得分减去变形损失。根滤波器和部件滤波器的得分都是通过计算窗口内的梯度方向直方图和一些权重的点积来获得的。部件滤波器的特征是在两倍根滤波器分辨率的空间上计算的。检测模型是在混合尺度中定义的，检测目标时通过搜索图像金字塔来实现。训练使用一系列含标注的图像，每个目标的实例都有一个矩形框。对于每个样本x，得分计算如式1-1所示：fxmaxzxz,2-1β是模型的参数向量，z是隐藏变量(例如部件的位置)。同时采用隐藏变量SVM(LSVM，LatentvariableSVM)，当将隐藏信息指明给正样本时，则训练问题变为凸优化问题，从而可以使用坐标下降算法求解。8 甘肃农业大学2018届硕士学位论文2.1.2HOG描述子DPM算法在HOG的构建过程中，首先将图像划分为不重叠的8*8像素区域，该区域称作细胞单元(cell)。对于每个细胞单元统计一维的梯度方向直方图，该直方图可以表示局部形状特征，并且能适应小的形变。每个像素的梯度方向被离散到9个方向区间之中，并采用像素的梯度幅值选取方向。对于彩色图像，分别计算每个通道的梯度，选取梯度幅值最大的那个通道的梯度作为像素点的梯度。然后，将2*2个细胞单元组成块(block)，对块进行归一化，形成一个9*4大小的向量。HOG特征金字塔通过计算标准图像金字塔中每层图像的HOG特征来构建，HOG金字塔中每一层的最小单位是细胞单元。金字塔顶层的特征可以在大范围内捕获粗糙的梯度直方图，底层的特征捕获小范围的精细尺度梯度直方图。2.1.3滤波器HOG金字塔采用的滤波器是一个w*h大小的滤波器F，该滤波器的权重数量为w*h*9*4。滤波器的得分就是此权重向量与HOG金字塔中w*h大小子窗口的HOG特征向量的点积(DotProduct)。通过对HOG金字塔中每个w*h大小子窗口的得分进行阈值化来检测特定类别的目标。假设H是HOG金字塔，p=(x,y,l)表示金字塔第l层,并在(x,y)坐标的一个细胞单元。φ(H,p,w,h)是将金字塔H中以p为左上角点的w*h大小子窗口的HOG特征串接起来得到的向量。所以，滤波器F在此检测窗口上的得分为：F·φ(H,p,w,h)。即φ(H,p)代表φ(H,p,w,h)。2.1.4可变部件模型可变形部件模型包括一个覆盖整个目标的根滤波器(rootfilter)，和若干个表示目标各个部件的滤波器(partfilter)。根滤波器的位置定义了检测窗口(即滤波器中的细胞单元所包含的所有像素)。部件滤波器位于金字塔的下几层，使得部件滤波器所在层的HOG细胞单元尺寸是根滤波器所在层的细胞单元尺寸的一半。9 甘肃农业大学2018届硕士学位论文n个部件的模型可以通过根滤波器F0和一系列部件模型(P1,...,Pn)来定义，其中，Pi=(Fi，vi，si，ai，bi)。Fi是第i个部件的滤波器；vi和si都是二维向量，都以细胞单元为单位，vi表示第i个部件位置的矩形中心点相对于根位置的坐标，si是此矩形的大小；ai和bi也都是二维向量，表示一个二次函数的参数，此二次函数用来对第i个部件的每个可能位置进行评分。图2-1展示了一个葡萄叶片的模型。a.叶片根模板b.叶片背面模板c.叶片侧面模板d.叶片正面模板图2-1DPM叶片模型可变部件模型在HOG金字塔中的位置用z=(p0,.....,pn)来表示，当i=0时，pi=(xi,yi,li)表示根滤波器的位置；i>0时，pi=(xi,yi,li)表示第i个部件滤波器的位置，该位置的得分表示为：nn22scoreFi(,Hpi)ai(,)xy%%iibi(,xy%%ii)2-2ii01(,)[2(,xyxy)v]ii00i(,)xy%%2-3iisi10 甘肃农业大学2018届硕士学位论文(x0,y0)是根滤波器所在层的坐标，2(x0,y0)表示部件滤波器所在层的坐标，vi是部件i相对于根滤波器的坐标偏移，即2(x0,y0)+vi表示未发生形变时部件i的坐标。(,xy%%ii)表示部件i的形变程度。可变部件模型在HOG金字塔中的位置有很多可能性，为确定各个部件的[56-57]最佳位置，采用动态规划和距离变换方法来计算，使其成为根位置的函数。计算时间为用o(nk)表示。其中，n是模型中的部件个数，k是HOG金字塔中细胞单元的个数。在进行目标检测时，根据各个部件的最可能位置来对根位置评分，然后对此分数进行阈值化。空间位置z的得分可以表示为模型参数向量β与向量ψ(H,z)的点积，即β·ψ(H,z)，其中：=(F,...,Fab,,...,ab,)2-40n11nn(,)Hz((,Hp),(,Hp),...(,Hp),,,xyxy%%%%2,2,...,xyxy%%%%,,2,2)2-501n1111nnnn在式2-5中，ψ(H,z)表示HOG金字塔H中模版z对应的特征向量。使用此表达式来学习模型参数，并将可变形部件模型和线性分类器联系了起来。2.1.5葡萄叶片检测的应用[58-60]DPM算法对行人、车辆等检测有广泛应用，对于刚性或有轻微形变的物体有良好检测效果。在农业自动化领域的应用中，叶片检测、病害检测等应用具有重要的意义。在对植物生长状态的监测过程中，植物叶片检测可以采用DPM的算法，该算法对葡萄叶片的检测效果如图2-2所示：abc图2-2DPM算法叶片检测例子从图中可以看出，DPM算法对简单背景下的叶片检测精度高，但在叶片发生形变或叶片相互遮挡的情况下，部分叶片无法检测到，而对叶片表面的病害11 甘肃农业大学2018届硕士学位论文检测而言，难度更大。因此本文并未采用该检测算法。2.2EdgeBoxes算法与葡萄叶片检测的应用基于候选区域的目标检测算法对非刚性的目标有良好适应性，在一幅图像中能够产生大量的候选区域，后接上分类器筛选出感兴趣的目标，由此得到目标在图像中的位置。在众多候选区的方法中，EdgeBoxes算法在各项评测数据中表现优异。该算法根据图像中物体的轮廓来进行得分排名。2.2.1EdgeBoxes算法EdgeBoxes算法利用物体的边缘信息，来确定矩形包围盒中的轮廓个数和边缘重叠的轮廓数量。该算法具体的流程如图2-3所示：输入图像计算edge计算边缘组之间的相似度a（i，j）边缘组权值计算给出每个候选区的得分图2-3EdgeBoxes算法结构图算法产生候选区的具体过程如下：（1）首先对输入图像进行边缘信息计算，边缘计算的方法采用文献[61]中提出的结构化边缘检测算法，得到边缘图像后，再利用非极大值抑制（non[62]maximumsuppression，NMS）的方法进一步处理，得到相对稀疏的边缘图像；12 甘肃农业大学2018届硕士学位论文[45]（2）在计算edgegroups的过程中，将所有近似在一条直线上的边缘点集中起来，形成一个edgegroup，具体的做法为：不停地寻找8连通的边缘点，直到两两边缘点之间的方向角度差值的和大于，这样便得到了多个edge2group；（3）计算各个edgegroup之间的相似度，相似度的计算公式如下所示：ass(,)cos()cos()2-6ijiijjij式中，ij表示xi与xj之间的角度，表示对方向变化的灵敏度（原文中取=2），如果两个边缘组之间被两个以上的像素分隔开，则认为这两个边缘组无关；（4）计算edgegroup的权值，计算公式如下所示：T1ws()1maxatt(,)2-7bijj1Tj其中T表示从边界包围盒的边缘开始到达si的边缘组序列集合。（5）最后对生成的所有候选区的包围盒进行打分，打分的规则如下式所示：iwsmb()iih2-8bk2(bb)wh式中b与b分别表示包围盒宽与高的权重，得到最终的得分后，将所有的wh候选区按分数高低排列。2.2.2葡萄叶片候选区基于候选区的方法很大程度上解决了非刚性目标的检测问题，对于叶片检测而言，EdgeBoxes算法能够解决叶片之间存在遮挡的问题，高质量的候选区基本上能够包含图像中的所有目标，实际的检测效果如图2-4所示：13 甘肃农业大学2018届硕士学位论文图2-4EdgeBoxes叶片候选区域上图中，实线的包围矩形边界表示人工标定的叶片，虚线包围矩形边界表示算法找到最符合的候选区域（也可以通过外接分类器自动获得虚线边框），从检测结果能够看出，实际生成的候选区基本能够探测到图像中的所有叶片。但在本文研究内容中，仍存在应用问题：EdgeBoxes算法能够找到图像中目标可能存在的位置，最后会在一幅图像中生成数以千计的候选区（生成候选区越多，则能涵盖图像中更多的目标），如果要实现自动检测，需要在后续工作中接入检测器并对所有的候选区分类。接入检测器的同时，需要对整幅图像生成的所有候选区进行检测，造成单幅图像耗费时间长的问题，此外，图像中会生成很多相似的区域，即便检测器已经检测到所有区域，对于一个目标会产生很多个矩形包围盒，如何摒除掉多余的包围盒保留最精确的那个，仍需有对应解决方案。对于病害检测而言，病害区域较小且不规则，难度更大，因此本文未选择此算法进行研究。2.3本章小结在本章节中，分别对典型滑动窗口算法DPM以及Proposal算法中EdgeBoxes进行介绍。此外，分别对两种算法进行叶片检测的试验，试验结果表明，DPM只能适应于叶片之间无遮挡或轻微叶片形变的检测情况,对本文叶片表面病害检测无法实现；EdgeBoxes算法中的候选区域基本能够包含所有的叶片区域，需要外接分类器对所有的候选区进行分类提取，但对叶片表面病害区域适应性不高。Proposal之类的算法提供了一种新的目标检测途径，基于候选区的检测方式能够有效克服滑动窗口检测方法模板无法精确匹配的问题，只需找到合适的候选区筛选方法，就能得到良好的检测结果，具体实现方法在本文第三章中给出。14 甘肃农业大学2018届硕士学位论文第三章卷积神经网络与目标检测3.1卷积神经网络概念[63-65]卷积神经网络于1998年由YannLeCun提出，在多个领域中取得了不错进展。在机器视觉领域中，卷积神经网络对图像的泛化能力很强，在目标检测、物体分割、图像理解等各种场景广泛应用。在目标检测的领域中，该网络通过深度卷积的运算方式能找到图像中有用的信息，同时对背景部分有很强的过滤。应用卷积神经网络所得到的信息精确程度取决于网络的深度和宽度。其中，深度代表卷积运算的层数，如输入图像为RGB三通道的图像，第一次卷积即用三维的n×n大小的滤波器进行滤波扫描，滑动窗口按照一定的步长去游走整幅图像，每经过一个地方便将滤波窗口所对应的图像矩阵数值相乘然后累加，作为形成卷积特征图的第一个像素点，滤波器游遍全图记为一次卷积操作，这样的一次操作即表示深度为1的卷积神经网络；宽度表示每一次卷积操作，使用滤波窗口的个数，即在同一深度下，所用不同类型的滤波窗口，所获取的图像信息也就越多。卷积神经网络具有以下的几种特点：（1）稀疏连接：卷积神经网络的层间神经元采用局部连接的方式，该方式降低了运算的数据量，在减少数据量的同时，通过神经元的感受野可以提高算法的泛化能力。（2）感受野：受人对外界认知是从局部到全部的启发，一幅图像中，局部相邻的像素具有强的相关性，而距离远的像素相关性较弱。因此，神经元没有必要对图像中全局的像素进行认知，只需要对局部的像素进行学习，然后在更高层进行信息综合，这样无疑会减少很多的计算量；（3）权重共享：在网络中，卷积层的每一个卷积滤波器重复的作用于整个感受野中，对输入图像进行卷积，卷积结果构成了输入图像的特征图，提取出图像的局部特征。每一个卷积滤波器共享相同的参数，包括相同的权重矩阵和偏置项。共享权重的好处是在对图像进行特征提取时不用考虑局部特征的位置。而且权重共享提供了一种有效的方式，使要学习的卷积神经网络模型参数数量15 甘肃农业大学2018届硕士学位论文大大降低。卷积神经网络由输入层、卷积运算层、激活函数、池化层和全连接层组成，每经过一层的运算，输入该层的数据就进行了一次变换，即表示对输入数据进行了一次处理。以下内容对卷积神经网络的每一层进行介绍。（1）输入层：输入层是指对输入数据进行预处理，包括去均值、归一化等。如基于卷积神经网络的目标检测算法对输入图像的预处理为图像尺寸变换，一[66]般情况下，按照ImageNetLargeScaleVisualRecognitionCompetition(ILSVRC)标准，将图像尺寸固定为224*224。（2）卷积层：卷积运算层是卷积神经网络的核心内容，由此卷积层来定义了卷积神经网络的名称。卷积运算指用一个滤波器在图像局部扫描，将滤波器上的数值与输入图像上的矩阵数值对应相乘，然后进行累加，最后将卷积后的数据形成特征模板，该特征模板具有图像更深层的信息，对图像噪声等有良好的抑制作用，卷积层的运算形式如式所示：nnnn1Xjf()Xikijbj3-1iMj其中X表示输出的特征图像，f表示激活函数，n表示层数，k表示卷积核，Mj为输入特征映射的集合，b表示偏置。（3）激活函数：激活函数的作用是把卷积层的输出做非线性的映射，加快数据收敛，常用的激活函数如RELU、Sigmoid等。（4）池化层：池化层的位置处于连续的卷积层之间，主要作用是用来降低图像数据处理过程中出现的过拟合现象。池化后的图像具有图像特征的尺度不变性，并且有特征降维的作用，经过卷积层的处理后图像有过多的冗余信息，池化层就能去除掉，提取出有用的信息，同时能减少特征图的数据，提升运算速度。常见的池化方法有最大值池化和均值池化。最大值池化指在某个区域中（如3*3范围内），选取该区域中最大的一个值来代表整个区域的数值，即为最大值池化，均值池化则是将区域内所有的值加权后取平均值。（5）全连接层：全连接层的作用为将所有的神经元权重都连接在一起，实现全部参数共享。全连接层一般位于网络最后。一般的卷积神经网络各层的顺序为：图像输入层、卷积运算、激活函数、16 甘肃农业大学2018届硕士学位论文池化层、全连接层。卷积神经网络具有特征共享，高维数据处理能力强等特点，但需要GPU等硬件支持。对于卷积特征的具体意义，目前的研究内容无法对卷积特征代表的内容进行定义，物理含义不明确。3.2卷积神经网络模型卷积神经网络的具体实现要在固定的框架结构中，搭配固定深度或宽度的卷积网络模型，一般情况下，神经网络的深度与宽度与算法的精度成正相关，越深层的网络所具备的学习参数越多，对图像中数据的泛化能力越强。卷积神[67]经网络的运行需要在特定的框架中，目前常用的神经网络框架有Caffe、[68]TensorFlow等，常见的卷积网络模型有如下几种：[69]（1）LeNet-5:该模型共分为7层网络，是最早应用于数字识别的卷积网络，该网络要求的输入图像为32*32，前1-5层分别为3个卷积层和两个池化层，卷积后的数据采用Sigmoid激活函数映射变换后，再送往池化层进行数据压缩，最后经过两个全连接层参数共享。该网络广泛应用于物体识别等。[70]（2）AlexNet：该网络分为5个卷积层和三个全连接层，与LeNet-5的不同之处在于，AlexNet采用了分块式的卷积结构，该结构分为上下两块内容进行卷积运算，激活函数选择了RELU代替Sigmoid函数。在2012ILSVRC比赛中，荣获冠军。[71]（3）ZF-Net：该网络是在AlexNet的基础上进行了改进，在2013ILSVRC中获得冠军，该网络也广泛应用于目标检测领域，如R-CNN、Fast-RCNN等检测器在实验中都采用了ZFNet来进行验证。（4）VGG-16：该网络为本文算法所采用的特征提取网络，将在文章中3.6.1中描述。3.3卷积神经网络的优点通过以上内容发现，卷积神经网络是一个多层并含有大量可调参数的学习模型，在计算机硬件飞速发展同时，卷积神经网络模型的深度（层数）也在不断增加，随之带来了计算精度的提高。卷积神经网络对模式识别，图像处理等领域有广泛应用，对本文研究内容（目标检测）而言，卷积神经网络具有以下17 甘肃农业大学2018届硕士学位论文优点：（1）卷积特征不是显示的特征提取，只要给定学习目标，卷积神经网络将自动的根据学习目标去调整网络的参数，除特定要求外，无需关注每层的参数以及权重的变化。（2）卷积神经网络模型可实现迁移学习，即可以把已训练好的模型参数迁移到新的模型来帮助新模型训练。模型参数学习的方法采用反向传播的方法，因此若有相近类别的目标迁移学习时，使得训练时间减少，收敛更快。（3）训练过程参数可调范围广。在训练过程中，若以当前学习率（如0.00001）在训练过程中出现损失无法降低的情况，可以调低学习率（如0.000001）继续训练，较低的学习率使得模型精度更高，但收敛速度慢。即在理论上，只要模型的深度与宽度不限，卷积神经网络的精度可以达到很理想的水平。3.4R-CNNR-CNN是首次将卷积神经网络应用于目标检测任务的算法，该算法结合图像卷积运算的特征提取方式和选择搜索的方法进行目标检测。R-CNN的算法结构如图3-1所示：SelectiveSearch输入图像卷积特征提取分类与边框回归方法生成候选区图3-1R-CNN检测算法结构图该算法的具体操作过程为：（1）输入图像；（2）采用选择搜索算法提取图像中2000个候选区域；（3）利用已经训练好的卷积神经网络对每一个提取出的候选区进行评分；（4）对图像中提取的所有区域进行分类以及边框精修。边框回归的主要作用是将候选区域对应的包围盒经过一种映射，使得其更接近于真实窗口。边框回归的过程如图3-2所示：18 甘肃农业大学2018届硕士学位论文图3-2边框回归过程例图^图中，矩形P表示候选区域对应包围盒；G表示目标真实的位置窗口；G表示窗口P经过边框回归后的窗口。即表示对给定的(,PPPPxy,w,h)找到一种映射^^^^^^^^关系，使得fPPPP(,,,)(GGGGx,y,w,h)，并且使(GGGGx,y,w,h)(GGGG,,,)。xywhxywh其中x，y，w，h分别表示窗口的中心点坐标、宽和高，G表示窗口对应的卷积特征（最后一层卷积特征图）坐标变换的主要方式是平移和尺度放缩。在平移过程中，平移的距离为（xy,），其中，xPdPwx()，yPdPhy()，^^^使得平移后G窗口的中心点坐标为：（GGxy,）=（PdPPPdP()+,()P）；wxxhyy^^然后再做尺度缩放，使得Gw=Pexp(dP())，Gh=Pexp(dP())。wwhhTT上式中，dP()=w()P。其中，()P表示输入特征图的特征向量；w表***示学习后的权重；dP*()为预测参数，使得预测值与真实值t*(,,,)ttttxywh差距最小，损失函数定义为：N^Tii2Loss(t*w*(P))3-2i最后得到的真实值为：t(GP)/P3-3xxxw19 甘肃农业大学2018届硕士学位论文t(GP)/P3-4yyyhtlog(G/P)3-5wwwtlog(G/P)3-6hhhR-CNN能准确的选取候选区域并对其分类（RCNN中分类器采用SVM），加以边框精修的策略使得检测精度高于DPM等算法。但R-CNN在算法的结构上有一定缺陷，在测试过程中，卷积网络需要对生成的2000个候选区域各个卷积运算，使得检测时间变慢，针对此问题，研究者提出了改进后的R-CNN算法（Fast-RCNN），提升了运算速度。3.5Fast-RCNN为解决R-CNN算法训练与检测耗费时间的问题，研究者在它的基础上改进，提出了Fast-RCNN算法，该算法在原有的基础上，引入了ROI池化层，将候选区的提取过程集中到最后一层网络的特征图中，这样做只需对原图进行一次卷积操作，无需对大量的候选区分别进行卷积特征提取，大量节省运行时间。Fast-RCNN的检测结构如图3-3所示：目标分类与边输入图像卷积特征提取ROI池化层框回归SelectiveSearch生成候选区图3-3Fast-RCNN检测算法结构图Fast-RCNN的检测过程如下所示：（1）输入图像（224*224三维图像）（2）图像经过卷积网络，在网络中经过卷积、池化的变换，生成高维的特征图；（3）在生成的特征图上，加入ROI层。该层的输入由两部分组成，第一部分为卷积运算后的多维特征图；第二部分为SelectiveSearch找到的候选区在特20 甘肃农业大学2018届硕士学位论文征图上的位置。将所有的候选区域（SelectiveSearch生成的候选区）坐标映射到特征图上（映射规则：将候选区在原图中的各个坐标除以原图与特征图尺寸的比值），并将所有的尺度特征图输出统一为固定维度的向量，向量的个数等于候选区的个数；（4）向量经过全连接层后进行分类，以及对边框的位置进行精修（二者同时进行）。Fast-RCNN算法解决了运算速度的问题，ROI层的引入不仅缩短运行时间，而且在算法精度上也有提高。但该算法仍有缺陷，候选区域的生成仍采用了外接算法的形式，并未经所有的过程统一到一个网络之内。3.6Faster-RCNN3.6.1Faster-RCNN架构Faster-RCNN算法将整个的检测过程统一到一个网络中，实现端到端的训练。该算法以RPN网络代替上文中SelectiveSearch的候选区生成方法，使生成的候选区与目标检测网络共享卷积特征，提取候选区的过程也可以集中在GPU中运行，与Fast-RCNN相比，在不影响检测精度的情况下，该算法的检测效率更高。Faster-RCNN的检测结构如图3-4所示：图3-4Faster-RCNN检测算法结构图Faster-RCNN的检测过程如下所示：（1）输入图像（224*224三维图像）；（2）对图像进行卷积变换，本文卷积网络采用VGG-16网络，该网络共有13个卷积层，3个全连接层，共计16层网络，网络的具体结构如图3-5所示：21 甘肃农业大学2018届硕士学位论文224×224×3224×224×64112×112×12856×56×2567×7×51228×28×51214×14×5121×1×40961×1×1000sConvolution+ReLUMaxpoolingFullyconnected+ReLUsoftmax图3-5VGG-16网络模型1.INPUT:[224x224x3]2.CONV1_1:[224x224x64]3.CONV1_2:[224x224x64]4.POOL1:[112x112x64]5.CONV2_1:[112x112x128]6.CONV2_2:[112x112x128]7.POOL2:[56x56x128]8.CONV3_1:[56x56x256]9.CONV3_2:[56x56x256]10.CONV3_3:[56x56x256]11.POOL3:[28x28x256]12.CONV4_1:[28x28x512]13.CONV4_2:[28x28x512]14.CONV4_3:[28x28x512]15.POOL4:[14x14x512]16.CONV5_1:[14x14x512]17.CONV5_2:[14x14x512]18.CONV5_3:[14x14x512]19.POOL5:[7x7x512]22 甘肃农业大学2018届硕士学位论文20.FC:[1x1x4096]21.FC:[1x1x4096]22.FC:[1x1x1000]（3）在最后一层卷积特征图上，采用RPN网络提取候选区域。（4）利用ROI层将不同大小的候选区域整合成固定维度的向量，用于分类。ROI层的输入与上文中Fast-RCNN中相同，共由两部分组成，第一部分为最后一层卷积特征图（由VGG16得到的特征图尺寸为7*7）；第二部分为候选区域的窗口位置。（5）将所有的候选区进行分类以及边框精修。在分类器的选择中，检测网络选用SoftMax分类器进行分类。Softmax函Nsy,sRnm数将多个标量映射为一个概率分布，对于训练数据集iii1且i，yCi1,2,L,，其中C为类别个数。通常，通过特征学习将数据集映射为Nxy,miii1，其中xRi；模型为：TPy1xexg1TPy2x1exg2CyPyxCgR3-7TMexgiMTPyCxi1exgc通过交叉熵建立优化目标函数：NCmin1yCglogPyCx,R3-8iiiNiC11其中为狄利克雷函数，参数=(,,...,)，R()g为正则化约束项。利用12c梯度下降的方法求解参数，便得到Softmax分类器。3.6.2RPN网络结构RPN网络位于ROI层与卷积层之间，目的在于利用共享卷积特征的方式提取候选区域，并且使得所有的检测流程集中在一个网络之中。下文中对RPN网络进行详细介绍。在卷积特征图上，采用一个3*3大小的滑动窗口，对整张特征图游走，滑动步长为1。每滑动到一个位置，就以当前窗口位置的中心点，并找到原图中所对应的位置，该点则表示锚点的中心点（锚点定义在原图中）。RPN网络中23 甘肃农业大学2018届硕士学位论文设置了3中不同尺度以及长宽比的锚点，3种尺寸为128、256、512，3种长宽比为：1:2、1:1、2:1，每一个位置共计9个锚点。当滑动窗口移动到一个位置，将这个位置数值映射为512维的向量，然后将这个向量输入边框回归层以及分类层。边框回归层的输出为各个候选区的坐标编码，即（左上角坐标、宽与高），k个锚点对应4k个坐标；分类层的输出为候选区是目标或不是目标的概率，k个锚点对应2k个得分。RPN网络模型如图3-6所示：图3-6RPN网络模型3.6.3损失函数的定义RPN网络的损失函数共由两部分组成，第一部分为分类的损失函数，第二部分为边界框的回归。RPN网络在训练的正负样本选择过程中，遵循以下规则：（1）正样本选择：某个锚点与人为标定的包围盒含有最高的IOU或当IOU>0.7时，则当前锚点所在区域为正样本；（2）负样本选择：某个锚点与人为标定的包围盒IOU<0.3，则当前Anchor所在区域为负样本。其余非正非负样本不做训练。根据以上定义，RPN网络的损失函数定义为：11***Lp({},{})itiLcls(,ppii)pLireg(,)ttiiNNclsiireg3-9上式中，i表示某个锚点的索引，pi表示锚点对目标的预测概率，若预测为24 甘肃农业大学2018届硕士学位论文**正样本，则pi=1；预测为负样本，pi=0；ti是一个向量，表示预测包围边界的*4个参数化坐标，ti表示正锚点对应的坐标向量。分类损失Lcls定义为：L(,pp*)log[pp*(1p*)(1p)]3-10clsiiiiii边框回归损失L定义为：regL(,)tt**Rt(t)3-11regiiii其中R表示Fast-rcnn中定义的鲁棒性损失函数（smoothL1），如下式所示：20.5xx1smooth()x3-12L1x0.5x1Faster-RCNN的输出结果是物体在图像中的位置与标签，RPN网络的目的在于与原图共享卷积特征，并利用卷积特征去提取更高质量的候选区，上文中提到的RPN的分类标签只是对物体做二分类（是目标或不是目标），RPN网络分类标签的对象为锚点，并不对物体的具体类别做分类；RPN网络中提取的边框表示候选区的边框，不是最终输出结果。得到高质量的候选区后，再经过ROI池化层统一为固定维度的向量，再做最后的边框回归与分类，过程同上文中Fast-RCNN的介绍。3.6.4Faster-RCNN案例Faster-RCNN提出后，在PASCALVOC2007数据库测试集中取得了较高的检测精度。采用VGG16网络模型结合检测结构，分别对20类别的物体进行检测，具体的检测例子如图3-7所示：ab25 甘肃农业大学2018届硕士学位论文cd图3-7Faster-RCNN实际应用例子Faster-RCNN算法对实际场景有广泛应用，数据显示，该算法PASCALVOC2007数据测试集中，对20类目标的平均精度值（mAp）达到73.2%。对本文研究内容而言，采用了改进后的Faster-RCNN算法进行叶片检测与病害检测，具体的改进内容以及叶片以及病害的检测例子在本文第四章、第五章中详细描述。3.7本章小结在本章内容中，对卷积神经网络的概念以及常用网络模型进行介绍。在算法内容中，本章分别对三种基于卷积神经网络的目标检测算法（R-CNN、Fast-RCNN、Faster-RCNN）详细介绍。对于本文的研究对象（葡萄叶片表面病斑检测），采用改进后的Faster-RCNN算法先定位叶片，再检测病害。26 甘肃农业大学2018届硕士学位论文第四章葡萄叶片检测葡萄叶片检测指在一幅图像中，用一个矩形边框将叶片在图像中所在位置围住，给出矩形边框在图像中的坐标，并贴上叶片所属的类别标签，表示图像中的一类事物。在本文研究内容中，病害检测是在叶片检测的基础上进行，所以叶片检测的精度直接关系到后续病害检测的结果。在自然条件下，葡萄叶片的形态会受到各种不可预测的影响，如风力使得叶片发生形变，改变叶片在图像中的位置和形状特征；在不同的天气环境下，由于光照环境不同，叶片成像的颜色特征也会发生变化；病害叶片表面的病害区域，会使得叶片的整体轮廓残缺、同时叶片的表面区域颜色特征也会改变；以上的种种因素都是在叶片检测过程中经常出现的问题。传统的方法（本文第二章中描述的检测方法）对形态变化的目标检测适应性差。针对以上问题，本文采用卷积神经网络的区域建议算法（Faster-RCNN）来对图像中的葡萄叶片进行检测作为病害检测的基础，并根据叶片的形态改进算法的锚点比例，使得RPN网络在生成的建议区域质量更高，覆盖范围更广。本章内容主要分为叶片数据采集、叶片检测算法、实验数据三部分内容。4.1叶片数据采集试验样本图像采集于甘肃农业大学酿酒葡萄试验田以及甘肃省天水市的多个葡萄种植园，图像采集对象为自然条件下生长的葡萄叶片，样本采集时间为2016年7月中旬至2017年7月中旬，图像采集过程中，对实际生长的叶片进行不同角度的拍摄取样，拍摄距离为距叶片1米至4米范围内，并综合考虑天气、光照变化的影响，分别对光照充足、阴影和光照不足（阴天）三类情况下采集试验样本。以上三类试验样本中，按照以下几种情况进行分类：（1）图像中叶片之间无互相遮挡，有完整的叶片形状；（2）图像中叶片生长密集，存在相互遮挡的情况；（3）因自然条件形态变化后的叶片，多为由于风力影响导致叶片形变、旋转。采集图像共4000张，分为训练集和测试集。其中训练集为2000幅图像，在标定训练数据时，调用Matlab中的TrainingImageLabeler函数来对一幅图像中的每一个叶片进行标定，并给出叶片的具体坐标（叶片包围矩27 甘肃农业大学2018届硕士学位论文形的左上顶点位置以及矩形的宽和高），用于算法读取训练区域的数据；在测试集中，为使得算法更接近真实情况，尤其对叶片在各种环境影响下发生的形变以及角度变化，在测试结果中对叶片的图像进行拓展，具体拓展办法为对测试集中的部分叶片进行不同角度的旋转，最终得到的叶片测试集共3000余张。4.2叶片检测算法优化叶片检测的算法采用本文第三章中介绍的Faster-RCNN目标检测算法，在该算法的RPN网络中，设置了三类宽高比例的锚点（分别为1:0.5，1:1，1:2），这三类宽高比的锚点目的为适应PASCALVOC数据集中20类别目标，RPN网络中产生的候选区能尽可能涵盖各种类别。对于本章内容而言，以上三种宽高比的锚点没有针对性，降低了RPN网络中产生的叶片候选区质量。为了得到更紧致的边界框，本文将原始RPN锚点窗口做了优化设置。在优化过程中，考虑到自然条件下叶片的姿态不同，在同一地点不同时刻拍摄的图像中，叶片角度会发生改变，对检测结果造成影响。为解决此问题，在制作训练集时对叶片图像进行分类，对图像按照叶片在图像中呈现的角度不同，分为以下四类：（1）叶片方向大体端正的作为第一类；（2）大体叶片大体呈45°或-45°的作为第二类；（3）叶片大体呈90°的作为第三类；（4）叶片侧翻的作为第四类。在本方法中，待检测的目标类就变成了四种叶片类，而不是一种叶片类。分别对每一类叶片的人工标定的边界框的长宽进行聚类，得到锚点窗口的4种优化长宽比，分别是：第一类1:0.86，第二类1：1，第三类：1.16:1，第四类：1.75:1。此外，设置三种检测尺度（64、128、256），该三种尺度的大小，目的为适应图像中叶片尺寸的问题（根据拍摄距离的远近，同一张叶片会在图像中呈现出不同大小），每个锚点上合计12个检测窗口。在叶片图像训练过程中，输入图像经过VGG-16网络得到特征图，在最后一层特征图上（即conv5_3，深度512维），RPN网络设置3×3滑动窗口扫描，找到窗口中心点在原图的对应点作为锚点，以锚点为中心的12个检测窗口的任一窗口与预先标定的边界框比较重叠区域，如果某个锚点上，当交叠率IOU（intersectionoverunion，IOU）>0.7时，即认为找到一个目标的正样本（叶片区域）；当IOU<0.3时，则为负样本（背景区域）。当滑动窗口对整张特征图28 甘肃农业大学2018届硕士学位论文扫描完后，得到一幅图像的目标正样本，对特征图上目标正、负样本位置的窗口（3×3×512）经过卷积操作，生成512维的特征向量。最后对所有特征向量按照上述4类按照FasterRCNN的损失函数进行分类和回归训练，使其可以实现对4类叶片的分类和边界框的精细预测。训练过程如下：[72]（1）用ImageNet-pre-trainedVGG-16net模型初始化，独立训练RPN网络。（2）以RPN网络产生的建议区域作为输入，仍用ImageNet模型初始化Faster-RCNN，并对该网络进行训练。此时Faster-RCNN网络与RPN网络并不共享参数（训练前）。（3）使用（2）训练出的Faster-RCNN初始化一个新的RPN网络，但在训练时仅仅更新RPN网络特有的网络层。训练后，两个网络共享了所有公共的卷积层。（4）固定两个网络共享的网络层，微调检测网络的全连接层，形成统一的网络，完成最后训练。a.原始Faster-RCNN算法b.本文方法检测例图检测例图图4-1两种叶片检测方法检测结果29 甘肃农业大学2018届硕士学位论文原始图像Conv1_1层特征图图4-2第一层叶片卷积特征图在图4-1中，图a表示原始FasterRCNN算法检测的例子，红框表示算法检测到的叶片，蓝框表示算法未检测到的叶片。图b表示本文改进后的叶片检测算法，对角度发生变化以及有遮挡的叶片检测效果有一定的提高。4.3叶片检测结果为测试叶片检测算法的有效性，对本文叶片检测算法进行实验，并对比三种目标检测算法（原Faster-RCNN、R-CNN和文献[36]叶片检测算法）。针对叶片检测，采用PASCAL目标检测协议来评价检测精度，即当交叠率IOU>0.5时，认为检测器检测到目标。通过描绘各类测试数据集上不同算法的精度（Precision）与召回率（Recall）的曲线来进行说明。其中，精度与召回率定义为：TPPrecision4-1TPFPRecallTP4-2TPFN精度与召回率的曲线制作过程为：（1）首先对检测算法进行阈值确定，检测器对叶片目标的置信度范围在0-1之间，分别选取0-1之间的数个阈值，进行所有图像的叶片检测，并统计出精度与召回率。（2）将统计后每个阈值下的精度与召回率在坐标轴上确定一个点。（3）将所有的点用线段连接起来。30 甘肃农业大学2018届硕士学位论文理论上阈值的步长划分越精细越好，但考虑到数据量过大，本文统计的阈值个数在10-20个点，基本描绘出每种算法的精度与召回率的相关曲线下降走势。在式（3）与式（4）中，TP（TruePositive）为真阳性，表示检测算法正确检测到的叶片数量。FP（FalsePositive）为假阳性，检测算法检测错误的叶片数量；FN（FalseNegative）为假阴性，表示未检测到的叶片数量。各算法的叶片检测精度与召回率（Precision-Recall）曲线如图4-2所示，叶片检测的平均精度值如表4-1所示。a.正常光照（晴天）无叶片b.正常光照（晴天）叶片遮遮挡P-R曲线挡P-R曲线c.光照不足（阴天）无叶片d.光照不足（阴天）叶片遮遮挡P-R曲线挡P-R曲线31 甘肃农业大学2018届硕士学位论文f.叶片遮挡光照阴影P-R曲线图4-2各算法叶片检测P-R曲线图表4-1各算法的叶片检测平均精度值图像种类本研究算法对比算法Faster-RCNNR-CNNDPMa．晴天无叶片遮挡85.4280.2375.3470.56b．晴天有叶片遮挡80.2370.0163.1955.27c．阴天无叶片遮挡76.6571.3566.2360.62d．阴天有叶片遮挡72.9969.4259.2149.05e．叶片遮挡阴影62.3060.4454.1440.11实验结果表明，不同算法对光照变化的影响有不同的适应性，当光照不足与光照阴影的条件下，各算法的检测精度都有下降，其中由叶片遮挡产生的阴影条件下，各检测算法精度下降最快，本文检测算法优于三种对比算法；特定的光照条件下，在无叶片遮挡的情况下各种算法都有好的检测结果。对于有叶片遮挡的情况下，随着召回率的增大，传统算法（DPM）叶片检测精度下降较快，而本文改进后的卷积神经网络区域建议算法产生更高质量的‘叶片建议区域’，得到更高的检测精度，从P-R曲线中可以看出本文算法精度明显高于其他三种对比算法，多种检测条件下，本文算法、Faster-RCNN、R-CNN、DPM等四种叶片检测算法的平均mAP分别为75.52%、70.29%、63.62%、55.12%。图4-3为本文算法对各种情况下叶片检测的例子。图中，a1、a2、a3分别表示正常光照条件下（晴天），无叶片遮挡、有叶片遮挡、有一定旋转角度叶片的检测例子；b1、b2、b3分别表示光照不足条件下（阴天），无叶片遮挡、有叶片遮挡、有一定旋转角度的叶片检测例子；c1、c2分别表示阴影条件下，叶片遮挡、有一定旋转角度叶片的检测例子。32 甘肃农业大学2018届硕士学位论文（a1）（a2）（a3）（b1）（b2）（b3）（c1）（c2）图4-3本文算法叶片检测例图4.4本章小结在本章节中，主要对自然条件下叶片检测进行介绍，对叶片检测的算法，以及检测算法对叶片适应性的优化进行说明。在试验数据中，本文分别对四种叶片检测算法进行了对比，包括本文算法、Faster-RCNN、R-CNN、DPM四种目标检测器对叶片检测的效果的评估，为保证试验结果更加接近实际，试验根据叶片所处自然环境的不同进行分类试验，对晴天、阴天、阴影、叶片有无遮挡等各种条件下的叶片图像进行检测。数据结果显示，本文提出改进后卷积神经网络区域建议叶片检测算法在各种情况下的检测召回率与精度都优于三种对比算法，为后续文章中葡萄叶片病害检测建立了良好的基础。33 甘肃农业大学2018届硕士学位论文第五章叶片病害检测葡萄叶片表面病害区域分布不均匀且没有固定的形状，对于目标检测任务而言，待检测目标可能出现在图像中的任何一个位置，较小的病害区域更难被计算机所识别。本章中提出的葡萄病害检测的方法是在自然条件下直接拍摄叶片图像，以叶片检测为基础，对叶片的病害区域进行定位，以此判断叶片是否存在病害，本文并不对病害类型进行识别。本章内容主要分为试验样本采集、病害检测方法、病害检测结果三个主要部分。5.1试验样本采集试验样本采集于甘肃农业大学酿酒葡萄试验田与网络图片库，其中部分数据集与本文第四章中叶片集有交叉。实地样本采集中，对自然条件下的病斑叶片进行拍摄，拍摄时间为2016年7月中旬至2017年7月中旬。具体拍摄细节中，考虑到病害检测算法的实际应用，使得视场中的病害叶片数量在2-5个。试验样本共分为训练集和测试集，训练集共600幅图像，每种病害类型约100张。在样本测试集中，褐斑病叶片图像共140张；白粉病叶片图像共120张；灰霉病叶片图像共110张；霜霉病叶片图像共108张；黑痘病叶片图像共126张；炭疽病叶片图像共112张，病害测试集共计716幅图像。在样本标记的过程中，对叶片的所有病害区域用一个矩形边框进行标记（一个叶片上可能存在数十个病害区域），用于算法提取感兴趣的区域进行学习。六种病害的例子如图5-1所示：a.葡萄褐斑病b.葡萄白粉病c.葡萄黑痘病34 甘肃农业大学2018届硕士学位论文d.葡萄霜霉病e.葡萄灰霉病f.葡萄炭疽病图5-1葡萄病害叶片5.2病害检测方法葡萄叶片的病害检测在叶片检测的基础上进行，在本文第四章中，葡萄叶片检测的结果为实际图像中葡萄叶片包围边框的坐标，四个坐标分别为矩形左上角坐标（X，Y），以及矩形的宽W和高H。得到叶片在图像中的位置后，再接上病害检测器，在固定好的叶片范围内（叶片矩形包围边框中）进行病害检测。该种检测方法有效解决了背景部分对检测的干扰，病害检测器仍然采用Faster-RCNN目标检测算法（在本文第三章已详细介绍）。在进行病害检测时，本文提出两种病害检测策略，下文将对两种检测策略进行说明。（1）方法1：当检测到叶片的区域后，记录叶片在图像中的坐标并将叶片图像自动截取出来，将截取到的叶片区域作为病害检测器的输入，并同时储存病害区域的包围盒坐标，最后将病害区域的坐标变换到原始图像中（叶片检测的输入图像）。具体变换规则为：若叶片区域在原始图像中的顶点坐标为（X，Y），病害区域在叶片范围中的顶点坐标为（x，y），则病害区域在原图中的顶点坐标为（X+x，Y+y），病害包围盒的宽与高不变，以此坐标变换将病害区域映射到原图中得到最终的病害检测结果。该种方法检测的精度较高，病害检测器中输入的有效范围大，而且不包含原始图像中背景区域的干扰，Faster-RCNN中的区域建议网络能对应生成质量更高的病害候选区域，但该方法的检测时间较长（与下文中提到的方法2相比），例如一幅图像中有N个葡萄叶片，对该图像进行病害区域检测时，首先进行叶片检测，此记为第一次卷积网络操作；然后对图像中的N个叶片截取后进行N此卷积网络操作，因此，若对一幅图像中含有N个葡萄叶片进行病害检测，共35 甘肃农业大学2018届硕士学位论文需进行N+1次卷积网络运行，所花费时间较长，在本章病害检测结果中，详细给出了方法1以及方法2的检测时间数据对比。（2）方法2：由于方法1中对病害检测的流程较复杂，所消耗的时间长。为进一步提升病害检测的效率，该种方法采用构建叶片掩模进行病害检测。叶片掩模指将叶片范围以外的矩形区域置零（在图像中表现为黑色，不参与运算），仅保留叶片区域的图像掩模，将叶片掩模图像作为病害检测器的输入图像，该方法同样解决了图像背景部分的干扰，与方法1不同之处在于病害检测器的输入不同。叶片掩模的制作过程为：首先定义一个与原始三维图像尺寸相同的一个0矩阵，然后将0矩阵中的叶片区域的图像灰度值设置为1，形成0-1矩阵，最后将0-1三维矩阵与原始图像中的矩阵信息对应位置进行相乘，得到叶片掩模。叶片掩模的例子如图5-2所示。在叶片掩模上进行病害检测时，无论一幅图像中有多少个叶片，得出病害检测结果只需进行两次网络运行，第一次检测叶片，第二次直接从掩模中得到病害检测结果，因叶片掩模的尺寸与原始图像的尺寸相同，所以在叶片掩模上检测到的病害坐标等价于原始图像中病害区域的坐标。该方法检测速度快（相比方法1），但检测病害的精度低于方法1（因算法本身的原因，输入图像进入检测器后，图像尺寸会被固定在224*224，所以单个叶片的区域作为输入时，检测器会产生的建议区域质量更高，且覆盖范围更广，叶片的掩模图像中，叶片的部分有效面积相对较小）。在病害检测过程中，将叶片有效区域（叶片掩模或单个已检测到的叶片）作为输入图像，网络检测到病害候选区后，与叶片检测一样，在VGG16卷积网络最后一层特征图上生成512维特征向量，将其输入全连接层中进行分类（病害或非病害）。36 甘肃农业大学2018届硕士学位论文a.输入图像b.叶片检测结果图c.掩模图像图5-2掩模示例图5.3病害检测结果在实验中，对本文提出的两种病害检测方法（2.2病害检测中方法1、方法2）进行数据统计，并采用直接在原始图像中进行病害检测的方法与本文方法进行对比，对六种病害（褐斑病、白粉病、灰霉病、霜霉病、黑痘病和炭疽病）进行病斑检测和数据分析，得出实验结果。各方法病害检测结果的评价准则与叶片检测相同，仍然采用精度与召回率的关系曲线，评价病害检测方法的性能。图5-3六种病害样本总体检测结果图5-3给出了本文提出的病害检测方法（方法1与方法2）与直接在原图病害检测方法的总体检测结果，可以看出本文的两种方法均优于后者，但方法一效果更好。此外，本文对6种病害检测分别进行数据统计，图5-4表示各病害检测方法分别对6种病害检测的精度召回率曲线：37 甘肃农业大学2018届硕士学位论文a.葡萄炭疽病b.葡萄霜霉病c.葡萄灰霉病d.葡萄黑痘病e.葡萄褐斑病f.葡萄白粉病图5-4各方法病害检测结果表5-1各病害检测方法的平均精度值（mAP%）病害类型方法1方法2原图检测a葡萄炭疽病62.1440.7327.20b葡萄霜霉病65.1951.5321.58c葡萄灰霉病60.5638.3418.48d葡萄黑痘病62.7854.1537.65e葡萄褐斑病72.6459.8250.13f葡萄白粉病75.5264.0149.25表5-2平均检测时间（单幅图像）检测方法方法1方法2原图检测平均检测时间1.416s0.352s0.196s从以上检测结果中得出，本文提出的病害检测方法1对各种葡萄病害有良好的检测效果。其中，方法1对褐斑病与白粉病的mAP超过70%，分别为72.64%38 甘肃农业大学2018届硕士学位论文与75.52%，炭疽病、霜霉病、灰霉病和黑痘病的mAP也超过了60%，分别为62.14%、65.19%、60.56%、62.78%，六种病害检测的平均值为66.47%；病害检测方法2（掩模法）对各种病害的检测精度低于方法1，主要原因是掩模的有效区域（检测到的叶片区域）与方法1相比减小，检测过程中产生的病害建议区域质量低于方法1，使得检测精度下降。方法2对病害检测效果最好的为白粉病，mAP（%）达到64.01%，其余5种病害（葡萄炭疽病、葡萄霜霉病、葡萄灰霉病、葡萄黑痘病、葡萄褐斑病）检测的mAP分别为40.73%、51.53%、38.34%、54.15%、59.82%，平均值为51.43%，方法2对病害检测的精度有下降，但优点是检测时间缩短，提高了效率；在原图直接进行病害检测的方法检测精度最低，mAP平均值为34.04%，由于原图中有大量的无效区域（叶片外的区域），在检测器对病害建议区域打分时，部分的背景区域在卷积特征上与病害区域相似，即检测器错把背景区域当作病害，此种方法检测的时间最短，但精度也最低。病害检测结果的例子如图5-5、图5-6所示。（a1）（b1）（c1）（d1）（e1）（f1）图5-5方法1病害检测的例图39 甘肃农业大学2018届硕士学位论文（a2）（b2）（c2）（d2）（e2）（f2）图5-6方法2病害检测的例图图5-5、图5-6中，a1、a2为各方法对葡萄白粉病检测的例子；b1、b2为各方法对葡萄褐斑病检测的例子；c1、c2为各方法对葡萄黑痘病检测的例子；d1、d2为各方法对葡萄灰霉病检测的例子；e1、e2为各方法对葡萄霜霉病检测的例子；f1、f2为各方法对葡萄炭疽病检测的例子。5.4本章小结本章内容介绍了葡萄叶片表面病害区域检测的方法。在叶片检测的基础上，采用了两种病害检测策略，并对两种策略进行详细说明。在试验结果中，针对常见的六种葡萄病害，对两种检测策略的检测精度进行统计，并与在原始图像上直接检测的方法进行对比。实验结果表明，本章提出的方法一以及方法二对自然条件下的葡萄叶片表面病害检测适应性强，方法一的检测精度高但耗时较长，方法二检测精度略低于方法一但耗时短，两种检测方法检测精度都优于原图病害检测的方法。40 甘肃农业大学2018届硕士学位论文第六章病害检测图形界面设计为了直观的展现出病害检测与叶片检测的显示效果，本文采用Matlab的图形界面平台设计了一个葡萄叶片检测与病害检测的人机交互界面，使图形图像处理结果更直观的反映在显示设备中。6.1系统框架本系统由图像读取、叶片检测、病害检测三个模块组成。（1）图像读取：图像读取模块采用在线摄像头将视频流传递至局域网，然后读取视频流中的一帧图像作为输入，实现实时检测。（2）叶片检测：叶片检测作为病害检测的基础，检测对象为当前视频流中的一帧图像，检测算法采用本文第四章中介绍的叶片检测算法。（3）病害检测：病害检测在叶片的区域内进行，检测的算法采用本文第五章中介绍的方法（方法一）。6.2图像采集[73]本图像采集部分主要采用了基于树莓派微型计算机的摄像头进行图像获[74]取，采用计算机远程控制树莓派，通过mjpg-streamer实时显示摄像头拍摄图片。MJPG-streamer适用于从webcam摄像头采集图像，把他们以图像流的形式通过基于IP的网络传输到拥有浏览器的计算机端，通过mjpg-streamer软件可以实现将摄像头中采集到的图像通过网络传输到浏览器网页上显示，当图片传输到局域网络中，检测器可以自动读取图片的固定地址，即可获取摄像头拍到当前一帧的图像。具体打开图像的步骤为：（1）进入mjpg-streamer软件所在的目录，开启摄像头。打开终端输入：cdmjpg-streamer/mjpg-streamer-exprimental（2）进入此目录后输入./mjpg_streamer-i"./input_raspicam.so"-o"./output_http.so-w./www"。此时摄像头传输已经打开，视频流地址为192.168.12.1:8080/？action=stream。41 甘肃农业大学2018届硕士学位论文图6-1mjpg-streamer命令图6.3MatlabGUI模块Matlab图形用户界面是指由窗口、图标、光标、按键、对话框和文本等各种图形图像等组成的用户界面，它让用户定制用户与Matlab的交互，而不是单一的采用命令字符的输入。在GUI设计的过程中，Matlab启动GUI的方式共有两种：（1）命令方式：在Matlab命令行中输入guide，即可启动Matlab的图形图像界面设计程序。（2）菜单方式：在Matlab的操作界面中，点击菜单中的新建，移动光标至APP，选择GUIDE按键，也可以打开GUI界面。Matlab中的GUI界面共分为四种模板，分别为空白模板（默认）、附带控件的模板、附带坐标轴和菜单的模板和带模式问题和对话框的模板，在本文中考虑到交互界面的灵活性，采用空白模板（默认）。42 甘肃农业大学2018届硕士学位论文图6-2GUI启动界面图6-3GUI设计模板图中显示为Matlab的空白模板，用户可在模板上自行定义菜单或按键的位置。图形界面设计窗口由菜单栏、工具栏、控件工具栏以及图形图像设计区4个功能区组成，图中空白处为GUI模板设计版面。GUI窗口设计的菜单栏由文件、编辑、视图、布局、工具以及帮助5个模块组成，使用其中的命令可以完成GUI图形图像设计。编辑工具在菜单栏的下方，提供常用的设计工具，设计工具区在窗口的左半部分，提供设计交互界面时常用的控件。43 甘肃农业大学2018届硕士学位论文6.4GUI系统的组成本文病害检测GUI系统的结构共由三部分组成。（1）图像读取模块：该部分为计算机读取当前视屏流中的一帧图像，在GUI界面中的图像区域中就能显示出当前摄像头对焦的视场，也可以读取本地的图片。图6-4叶片读取模块（2）叶片检测：叶片检测部分会对当前所获取的图像进行检测任务，系统在检测时，会自动调用本文提出的叶片检测算法，最终得到图像中叶片的坐标以及所围成的矩形包围盒。图6-5叶片检测模块44 甘肃农业大学2018届硕士学位论文（3）病害检测：得到叶片的检测结果，病害检测模块会自动将单个的叶片区域取出，分别对每一个叶片区域进行病害检测，得到最终的病害检测结果。图6-6病害检测模块6.5本章小结本章主要对葡萄病害检测设计了基于Matlab平台的人机交互界面，针对本文提出的叶片检测与病害检测模型，结合基于视频流的图像采集形式，提出了可视化的界面平台。45 甘肃农业大学2018届硕士学位论文第七章总结与展望7.1总结目前现代化技术产业的不断发展，各个行业领域的生产正逐渐以自动化的设备来取代人工的方式，自动化行业节约了生产成本，改善了人类生活。在高度自动化的生产行业领域中，其中机器视觉领域在目前占有主导地位，人工智能在各个领域中都有广泛应用。在农业领域中，农作物生长状态的评估还未完全实现自动化，尤其对自然条件下农作物的病害检测研究还处于发展中阶段。植物的病害在植物叶片中呈现出的信息最丰富，在自然条件下，植物叶片的在图像中受光照、天气等因素影响，传统算法很难去检测到病害目标。对于叶片表面的病害区域而言，不同病害呈现出的图像特征并不相同，有些呈片状，有些呈点状；同一种病害在不同的发病阶段特征也会变化，有些逐渐从点到片。在发病初期，病斑比较小，在整幅图像中所占面积很小，给检测带来麻烦。采用滑动窗口提取特征这类的检测方法对于病害区域检测难度很大。此外，现有[75-78]基于机器视觉的病害分析方法以病害识别为主，但病害识别不同于病害检测，无法自动从图像中获取病害区域，需要人工提取病害区域后进行识别。针对以上问题，本文以酿酒葡萄叶片为研究对象，采用机器视觉的目标检测方法对叶片表面进行病害检测，以深度学习的神经网络检测算法为基础，实现了自然条件下葡萄叶片的病害自动检测，本文的主要研究内容有：（1）传统目标检测方法：本章内容中首先对两种类型的传统的目标检测算法进行介绍。在第一类滑动窗口类型的算法中选取DPM算法进行介绍，并对该算法进行叶片检测试验，实验结果表明该算法对自然条件下有遮挡情况的叶片检测效果差，并在第四章中的实验结果中给出了详细的数据对比；第二类算法选取候选区类方法中评分较高的EdgeBoxes算法，对该算法进行介绍并进行叶片检测试验，但该算法还需后续的候选区分类处理，过程较为繁琐，并且对本文研究目的（病害检测）而言，该算法产生的病害候选区域质量不高，所以并未采用该方法。（2）卷积神经网络与目标检测：本章内容中详细介绍了卷积神经网络的概46 甘肃农业大学2018届硕士学位论文念、常用网络模型以及三种基于卷积神经网络的目标检测算法，分别为R-CNN、Fast-RCNN、Faster-RCNN。对于本文的研究内容而言，采用了Faster-RCNN检测框架，结合VGG-16深度学习网络模型，在初步的病害叶片检测过程中，对该检测算法进行了改进，使算法更适应于病害叶片。（3）葡萄叶片检测：针对自然条件下的叶片病害检测，本文首先对图像中的叶片进行检测，目的是用来增大叶片上病害斑点的有效区域，提升检测精度。叶片检测的算法采用了改进后的Faster-RCNN检测算法，对算法中的RPN网络进行优化，分别选取四种不同姿态的叶片角度，并为每种角度的叶片优化锚点的比例，使该网络能产生更加适应叶片的候选区。实验结果得出，本文提出的算法相比三种对比的目标检测算法检测精度更高。（4）叶片病害检测：病害检测过程采用了两种检测策略，分别为单个叶片病害检测和叶片掩模病害检测。两种病害检测方法分别在检测速度，检测精度上有各自的优缺点，其中单个叶片的病害检测方法精度高但检测时间长；叶片掩模的检测方法精度稍低但检测速度快，两种方法在实际数据统计中，对图像中背景部分的干扰都有良好的过滤，且精度都高于病害检测器在原始图像中检测的方法。（5）图形界面设计：根据病害检测的流程框架，采用Matlab的图形界面设计对整个算法流程制定了人机交互平台，包括载入图像、叶片检测、病害检测三个步骤。7.2展望本文以葡萄叶片病害检测为研究课题，采用卷积神经网络的目标检测算法进行病害检测，对病害区域进行准确定位，为后续的病害预防建立了基础。该方法在自然条件下有良好的适应性。人工智能是未来各个行业中的潜在发展方向，本文提出的算法仍然是该领域中的一个基本模型，该研究方法仍存在未完善之处。（1）在病害检测中，本文算法虽然可以检测到病害的位置，但对叶片上小目标的检测仍存在误判断，如叶片上的空洞与脏污，算法仍会将其判断为病害区域。此外，叶片的矩形包围边框与叶片的边缘部分仍然存在空档区域，检测47 甘肃农业大学2018届硕士学位论文算法会将叶片边缘与空档背景相连的区域误检测为病害区域。解决办法可以在具体的病害检测结果中，对叶片上的病害区域以及脏污、空洞等区域接上一个分类器，或采用叶片分割的方法，消除检测边框与叶片的空档区域，以用于过滤掉这些干扰区域的目的。（2）本文表述的病害检测方法虽可以在自然条件下进行，但对于低分辨率且视场较广的农田监控中，若监控所拍摄到的图像中叶片很多，叶片在图像中比例很小时，检测器对小目标的检测无法达到理想结果，后续的病害定位则更加困难。解决该问题的办法目前可以采用高分辨率的设备仪器入手，对图像进行放大后才能进行准确定位。（3）叶片病害检测的实现通过采集图像，然后通过计算机端进行图像处理后得到，在实际应用中仍然需要对实际场地中的叶片图像采集并标记，再进行检测，实际操作起来比较繁琐。在计算机硬件飞速发展的社会中，目前已经有将人工智能的案例应用到移动端的例子，移动端的处理器（如高通、三星等公[79-81]司处理器）在性能上逐渐接近计算机端，如手机端的人脸识别解锁功能。若将病害检测的方案引入基于安卓或IOS操作系统下的手机端，实现实地场景中的实时病害检测与分析，以此为研究方案将会使得农业生产自动化更全面。（4）本文的病害检测方法主要分为两步进行，病害检测必须建立在叶片检测的基础之上，网络结构仍未完全统一，过程较繁琐。解决办法为：将目标检测器在学习数据过程中，分为三类目标进行数据训练，分别为叶片、病害区域、背景，对输入的图像同时检测到叶片的区域与病害的区域，然后对病害区域做出判断，过滤掉叶片包围盒之外的所有病害区域，将整个运行同一到一个网络之中。48 甘肃农业大学2018届硕士学位论文致谢本学位论文受到国家自然科学基金项目“61461005”资助。三年的研究生学习就要结束，我也将要离开陪伴了我三年的学校——甘肃农业大学，也将离开在学习和生活上不断给予我帮助的老师和同学。首先，要感谢我的导师冯全教授。冯老师引导我学习机器视觉的相关知识。在学习中，每次冯老师看到最新的算法首先教给我们，让我们不断的试验，自己从中慢慢学习、领悟，遇到不会的难题冯老师每次都能耐心的解答。从发表的第一篇论文开始，冯老师都耐心的指导，无论是学术上、写作语言、写作技巧，冯老师都能面面俱到的讲解。我很庆幸自己能遇到这样一位导师，带领自己迈上一个台阶，他严谨的治学态度以及对科研的精神追求是我未来的榜样。对504实验室的每一位同学，我也想衷心表示自己的谢意。在学习以及生活的过程中，大家都能互相帮助，互相体谅，遇到困难时，彼此相互鼓励，在这里我想对所有同学说声谢谢。最后，向百忙之中担任本文评审工作并给出宝贵意见的各位老师和参加答辩的专家表示我衷心的感谢，谢谢！49 甘肃农业大学2018届硕士学位论文参考文献[1]李光林，李晓东，曾庆欣．基于太阳能的柑桔园自动灌溉与土壤含水率监测系统研制[J]．农业工程学报，2012，28(12)：146-152．[2]匡迎春，沈岳，段建南，姚帮松．模糊控制在水稻节水自动灌溉中的应用[J]．农业工程学报，2011，27(04)：18-21．[3]马梅琼．联合收割机跨区作业调度研究[D]．东北农业大学，2017．[4]杨宏图，丁为民，陈玉仑，丁启朔，汪小旵，蒯杰，王建军．稻麦联合收割开沟填草一体机的改进与设计[J]．西北农林科技大学学报(自然科学版)，2010，38(09)：161-166．[5]王儒敬，孙丙宇．农业机器人的发展现状及展望[J]．中国科学院院刊，2015，30(06)：803-809．[6]薛金林，张顺顺．基于激光雷达的农业机器人导航控制研究[J]．农业机械学报，2014，45(09)：55-60.[7]周俊，程嘉煜．基于机器视觉的农业机器人运动障碍目标检测[J]．农业机械学报，2011，42(08)：154-158．[8]蔡英凤，王海，陈小波，江浩斌．基于单双目视觉融合的车辆检测和跟踪算法[J]．交通运输工程学报，2015，15(06)：118-126．[9]胡铟，杨静宇．基于模型的车辆检测与跟踪[J]．中国图象图形学报，2008(03)：450-455．[10]高磊，李超，朱成军，熊璋．基于边缘对称性的视频车辆检测算法[J]．北京航空航天大学学报，2008(09)：1113-1116．[11]杨涛，李静，潘泉，张艳宁．基于场景模型与统计学习的鲁棒行人检测算法[J]．自动化学报，2010，36(04)：499-508．[12]种衍文，匡湖林，李清泉．一种基于多特征和机器学习的分级行人检测方法[J]．自动化学报，2012，38(03)：375-381．[13]王斌，刘洋，唐胜，郭俊波．融合多模型和帧间信息的行人检测算法[J]．计算机辅助设计与图形学学报，2017，29(03)：444-449．[14]尹宏鹏，陈波，柴毅，刘兆栋．基于视觉的目标检测与跟踪综述[J]．自动50 甘肃农业大学2018届硕士学位论文化学报，2016，42(10)：1466-1489．[15]刘兆祥，陈艳，籍颖，刘刚，张漫，周建军．基于机器视觉的农业车辆路径跟踪[J]．农业机械学报，2009，40(S1)：18-22．[16]文韬，洪添胜，李震，罗文辉，龙秀珍，陈海彬．基于机器视觉的橘小实蝇运动轨迹跟踪与数量检测[J]．农业工程学报，2011，27(10)：137-141．[17]王海青，姬长英，顾宝兴，安秋．基于机器视觉和支持向量机的温室黄瓜识别[J]．农业机械学报，2012，43(03)：163-167+180．[18]赵杰文，刘少鹏，邹小波，石吉勇，殷小平．基于支持向量机的缺陷红枣机器视觉识别[J]．农业机械学报，2008(03)：113-115+147．[19]蔡健荣，周小军，李玉良，范军．基于机器视觉自然场景下成熟柑橘识别[J]．农业工程学报，2008(01)：175-178．[20]陶华伟，赵力，奚吉，虞玲，王彤．基于颜色及纹理特征的果蔬种类识别方法[J]．农业工程学报，2014，30(16)：305-311．[21]毛罕平，胡波，张艳诚，钱丹，陈树人．杂草识别中颜色特征和阈值分割算法的优化[J]．农业工程学报，2007(09)：154-158．[22]吴富宁，杨子彪，朱虹，郑丽敏，廖树华，单成钢，王桂琴．基于颜色特征进行农作物图像分类识别的应用研究综述[J]．中国农业科技导报，2003(02)：76-80．[23]刘丽，匡纲要．图像纹理特征提取方法综述[J]．中国图象图形学报，2009，14(04)：622-635．[24]胡召玲，李海权，杜培军．SAR图像纹理特征提取与分类研究[J]．中国矿业大学学报，2009，38(03)：422-427．[25]王红玉，冯筠，崔磊，贺小伟，邱实．应用显著纹理特征的医学图像配准[J]．光学精密工程，2015，23(09)：2656-2665．[26]陈路，黄攀峰，蔡佳．基于改进HOG特征的空间非合作目标检测[J]．航空学报，2016，37(02)：717-726．[27]张小琴，赵池航，沙月进，党倩，张运胜．基于HOG特征及支持向量机的车辆品牌识别方法[J]．东南大学学报(自然科学版)，2013，43(S2)：410-413．[28]VanBangLE，朱煜，赵江坤，陈宁．基于深度图像HOG特征的实时手势51 甘肃农业大学2018届硕士学位论文识别方法[J]．华东理工大学学报(自然科学版)，2015，41(05)：698-702．[29]FelzenszwalbP,McallesterD,RamananD.Adiscriminativelytrained,multiscale,deformablepartmodel[J].Cvpr,2008,8::1-8.[30]李士进，杨静宇，陆建峰．基于奇异值特征和隐马尔可夫模型的人脸检测[J]．中国图象图形学报，2001(07)：71-78．[31]种衍文，匡湖林，李清泉．一种基于多特征和机器学习的分级行人检测方法[J]．自动化学报，2012，38(03):375-381．[32]AdankonMM,CherietM.SupportVectorMachine[J].ComputerScience,2002,1(4):1-28.[33]曹莹，苗启广，刘家辰，高琳．AdaBoost算法研究进展与展望[J]．自动化学报，2013，39(06)：745-758．[34]马媛，冯全，杨梅，李妙祺．基于HOG的酿酒葡萄叶检测[J]．计算机工程与应用，2016，52(15)：158-161．[35]周芳芳，樊晓平，叶榛．均值漂移算法的研究与应用[J]．控制与决策，2007(08)：841-847．[36]杨森，冯全，王书志，张芮．基于改进可变形部件模型与判别模型的葡萄叶片检测与跟踪[J]．农业工程学报，2017，33(06)：140-147．[37]HosangJ,BenensonR,DollarP,etal.WhatMakesforEffectiveDetectionProposals?[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2016,38(4):814－830.[38]EveringhamM,VanGoolL,WilliamsCKI,etal.Thepascalvisualobjectclasseschallenge2007(voc2007)results(2007)[J].2008.[39]DengJ,DongW,SocherR,etal.ImageNet:Alarge-scalehierarchicalimagedatabase[J].ProcofIEEEComputerVision&PatternRecognition,2009:248－255.[40]SandeKEAVD,UijlingsJRR,GeversT,etal.Segmentationasselectivesearchforobjectrecognition[C].IEEEInternationalConferenceonComputerVision.IEEE,2012:1879－1886.[41]CarreiraJ,SminchisescuC.CPMC:AutomaticObjectSegmentationUsingConstrainedParametricMin-Cuts.[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2012,34(7):1312－1328.52 甘肃农业大学2018届硕士学位论文[42]EndresI,HoiemD.Categoryindependentobjectproposals[C].EuropeanConferenceonComputerVision.Springer-Verlag,2010:575－588.[43]Pont－TusetJ,BarronJ,MarquesF,etal.MultiscaleCombinatorialGrouping[C].IEEEConferenceonComputerVisionandPatternRecognition.IEEEComputerSociety,2014:328－335.[44]HumayunA,LiF,RehgJM.RIGOR:ReusingInferenceinGraphCutsforGeneratingObjectRegions[C].ComputerVisionandPatternRecognition.IEEE,2014:336－343.[45]ZitnickCL,DollárP.EdgeBoxes:LocatingObjectProposalsfromEdges[C].EuropeanConferenceonComputerVision.Springer,Cham,2014:391－405.[46]朱盈盈，张拯，章成全，张兆翔，白翔，刘文予．适用于文字检测的候选框提取算法[J]．数据采集与处理，2017，32(06)：1097－1106．[47]ChengMM,ZhangZ,LinWY,etal.BING:BinarizedNormedGradientsforObjectnessEstimationat300fps[C].ComputerVisionandPatternRecognition.IEEE,2014:3286－3293.[48]李彦冬，郝宗波，雷航．卷积神经网络研究综述[J]．计算机应用，2016，36(09)：2508－2515＋2565．[49]GirshickR,DonahueJ,DarrellT,etal.Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation[C].ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2014:580－587.[50]何云，吴怀宇，钟锐．基于多种LBP特征集成学习的人脸识别[J]．计算机应用研究，2018，35(01)：292－295．[51]刘佳，傅卫平，王雯，李娜．基于改进SIFT算法的图像匹配[J]．仪器仪表学报，2013，34(05)：1107－1112．[52]GirshickR.Fastr-cnn[J].arXivpreprintarXiv:1504.08083,2015.[53]RenS,HeK,GirshickR,etal.FasterR-CNN:towardsreal-timeobjectdetectionwithregionproposalnetworks[C].InternationalConferenceonNeuralInformationProcessingSystems.MITPress,2015:91－99.[54]EveringhamM,WinnJ.ThePASCALVisualObjectClassesChallenge201053 甘肃农业大学2018届硕士学位论文(VOC2010)DevelopmentKitContents[C].InternationalConferenceonMachineLearningChallenges:EvaluatingPredictiveUncertaintyVisualObjectClassification.Springer－Verlag,2011:117－176.[55]LiuB,ZhangX,GaoZ,etal.WeldDefectImagesClassificationwithVGG16－BasedNeuralNetwork[M].DigitalTVandWirelessMultimediaCommunication.2018.[56]CrandallD,FelzenszwalbP,HuttenlocherD.SpatialPriorsforPart－BasedRecognitionUsingStatisticalModels[C].ComputerVisionandPatternRecognition,2005.CVPR2005.IEEEComputerSocietyConferenceon.IEEE,2005:10－17vol.1．[57]DalalN,TriggsB.HistogramsofOrientedGradientsforHumanDetection[C].ComputerVisionandPatternRecognition,2005.CVPR2005.IEEEComputerSocietyConferenceon.IEEE,2005:886－893.[58]康珮珮，于凤芹，陈莹．车辆检测中可变形部件模型的改进与应用[J]．计算机工程与应用，2016，52(20)：209-213．[59]柴恩惠，智敏．融合分支定界的可变形部件模型的行人检测[J]．计算机应用，2017，37(07)：2003－2007＋2013．[60]曾接贤，程潇．结合单双行人DPM模型的交通场景行人检测[J]．电子学报，2016，44(11)：2668－2675．[61]DollárP,ZitnickCL.StructuredForestsforFastEdgeDetection[C].IEEEInternationalConferenceonComputerVision.IEEEComputerSociety,2013:1841－1848.[62]王静，王海亮，向茂生，韦立登，刘忠胜．基于非极大值抑制的圆目标亚像素中心定位[J]．仪器仪表学报，2012，33(07)：1460－1468．[63]LecunY,BengioY,HintonG.Deeplearning.[J].Nature,2015,521(7553):436.[64]SermanetP,EigenD,ZhangX,etal.OverFeat:IntegratedRecognition,LocalizationandDetectionusingConvolutionalNetworks[J].EprintArxiv,2013.[65]LecunY,BoserB,DenkerJS,etal.Backpropagationappliedtohandwrittenzip54 甘肃农业大学2018届硕士学位论文coderecognition[J].NeuralComputation,1989,1(4):541－551.[66]RussakovskyO,DengJ,SuH,etal.ImageNetLargeScaleVisualRecognitionChallenge[J].InternationalJournalofComputerVision,2014,115(3):211－252.[67]Jia,Yangqing,Shelhamer,etal.Caffe:ConvolutionalArchitectureforFastFeatureEmbedding[J].2014:675－678.[68]AbadiM.TensorFlow:learningfunctionsatscale[J].AcmSigplanNotices,2016,51(9):1－1.[69]LecunY.LeNet－5,convolutionalneuralnetworks[J].[70]KrizhevskyA,SutskeverI,HintonGE.ImageNetclassificationwithdeepconvolutionalneuralnetworks[C].InternationalConferenceonNeuralInformationProcessingSystems.CurranAssociatesInc.2012:1097－1105.[71]ZeilerMD,FergusR.VisualizingandUnderstandingConvolutionalNetworks[J].2013,8689:818－833.[72]QassimH,FeinzimerD,VermaA.ResidualSqueezeVGG16[J].2017.[73]UptonE,HalfacreeG.RaspberryPiUserGuide[M].WileyPublishing,2015.[74]https://github.com/jacksonliam/mjpg-streamer[75]肖志云，刘洪．马铃薯典型病害图像自适应特征融合与快速识别[J]．农业机械学报，2017，48(12)：26－32．[76]孙俊，谭文军，毛罕平，武小红，陈勇，汪龙．基于改进卷积神经网络的多种植物叶片病害识别[J]．农业工程学报，2017，33(19)：209-215．[77]秦丰，刘东霞，孙炳达，阮柳，马占鸿，王海光．基于深度学习和支持向量机的4种苜蓿叶部病害图像识别[J]．中国农业大学学报，2017，22(07)：123－133．[78]刘媛，冯全．葡萄病害的计算机识别方法[J]．中国农机化学报，2017，38(04)：99－104．[79]晏志超．基于Android系统的人脸识别算法研究与实现[D]．安徽工程大学，2016．[80]朱超．基于iOS的人脸识别软件的研究与开发[D]．北京化工大学，2016．[81]李连泽．基于Android平台的远程人耳及人脸组合识别系统设计[D]．重庆大学，2015．55 甘肃农业大学2018届硕士学位论文导师简介冯全，男，1969年1月生，汉族，四川隆昌人，教授。1991年毕业于兰州大学物理系，固体电子学专业，获理学学士学位;2003年获兰州大学信息科学与工程学院“通信与信息系统专业”工学硕士学位;2010年获北京邮电大学信息与通信学院“通信与信息系统专业”工学博士学位。1991-1995年国营七四九厂，从事电子线路设计技术工作。1995年至今，在甘肃农业大学工学院(原机电工程系)，从事电工、电子及信息处理教学，本科主讲课程《电路CAD与仿真》、《电工技术》、《电路理论》、《电磁场理论》，研究生主讲课程《机器视觉》、《现代测试技术》、《电路CAD》。现任电工电子实验室主任。研究方向图像处理、信息安全、电子技术。撰写科研和教学论文30余篇，作为主要完成人和参加人完成科研项目7项，获校、教育厅教学成果奖2项，获省科技进步二等奖2项，专利发明4项。近年来主持和参与专利:1.“免耕播种高抗尘排种监测器”，国家知识产权局，2006，发明专利。2.“一种确定生物认证系统的安全级别的方法和设备”，国家知识产权局，2006，发明专利，专利号:ZL2006101386160,4-4。3.“生物认证方法、系统和设备”，国家知识产权局，发明专利，专利号:ZL200710137291.9,1-4。4.“一种利用指纹细节特征点绑定/恢复密钥的方法”，国家知识产权局，发明专利，专利号:ZL200710063883.0,2-3。5.一种利用多项式保护指纹模板的方法和认证方法，国家知识产权局，2012发明专利。6、基于令牌的隐私保护型指纹认证方法和系统，国家知识产权局，2012发明专利。近年来主持和参与科研项目:1.2003年至2005年参与国家“863”项目农业重大专项“北方干旱内陆河灌区(甘肃张掖)节水农业综合技术体系集成与示范”(编号:2oo2AA2z419},负责2BFM-10/5型免耕播种机的电控系统设计。56 甘肃农业大学2018届硕士学位论文2.2006年至2008年参与北京邮电大学多媒体通信与模式识别实验室的与华为技术责任有限公司的合作项目“在开放网络上进行安全可靠的生物认证技术”的研究工作，为华为公司完成了给国际电联/国际标准组织((ITE/ISO)提案1项(TAI:TelebiometricsAuthenticationInfrastructure);作为实际发明人，为华为公司申报发明专利2项，为多媒体通信与模式识别实验室申报发明专利1项。3.2006年至2008年参与甘肃省农业厅项目“抗植物软磨料磨损新技术在制粒环模制造中的生产应用”。4.2008年至2010年，参与北京邮电大学多媒体通信与模式识别实验室的教育部科学研究重点项目“面向网络安全的生物特征模板保护”(项目号:108012)。5.2011年至2013年，主持国家自然基金“开放网络上隐私保护型生物认证方法的究”，项目编号:610620120。6.2014年至2018年，主持国家自然基金“自然条件下酿酒葡萄病害检测方法的研究”，项目编号:614610050。57 甘肃农业大学2018届硕士学位论文作者简介刘阗宇，男，汉族，1992年出生，陕西人，硕士研究生。主要研究方向为图像处理。在校期间发表论文：[1]刘阗宇，冯全．基于卷积神经网络的葡萄叶片检测[J]．西北大学学报(自然科学版)，2017，47(04)：505-512．[2]刘阗宇，冯全，杨森．基于卷积神经网络的葡萄叶片病害检测方法[J]．东北农业大学学报，2018，49(03)：73－83．58 甘肃农业大学2018届硕士学位论文59