基于bp神经网络的字符识别算法的实现设计

《基于bp神经网络的字符识别算法的实现设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

北京理工大学2014届本科生毕业设计（论文）一、原始依据（包括设计或论文的工作基础、研究条件、应用环境、工作目的等。）工作基础：了解C++的基本概念和语法，熟练使用VisualC++6.0软件。研究条件：BP神经网络的基本原理以及图像处理的基本常识。应用环境：基于BP神经网络的图片图像文件中的字符识别。工作目的：掌握基于VisualC++6.0应用程序的开发。了解人工智能的基本概念并掌握神经网络算法的基本原理。掌握VisualC++6.0中的图片处理的基本过程。二、参考文献[1]人工智能原理及其应用，王万森，电子工业出版社，2007.[2]VC++深入详解，孙鑫，电子工业出版社，2006.[3]人工神经网络原理,马锐，机械工业出版社，2010.[4]VisualC++数字图像处理典型案例详解，沈晶，机械工业出版社，2012.[5]ApplicationofImageProcessingtotheCharacterizationofNanostructuresManuelF.M.Costa，ReviewsonAdvancedMaterialsScience,2004.三、设计（研究）内容和要求（包括设计或研究内容、主要指标与技术参数，并根据课题性质对学生提出具体要求。）1、掌握C++的基本概念和语法。2、掌握二维神经网络的基本原理。了解BP神经网络的基本概念。3、完成VisualC++中对于图像的灰度、二值化等预处理。4、完成基于样本的神经网络的训练以及图像中数字的识别，并对其性能进行统计和总结，分析其中的不足。指导教师（签字）年月日审题小组组长（签字）年月日 北京理工大学2014届本科生毕业设计（论文）北京理工大学本科生毕业设计（论文）开题报告课题名称基于BP神经网络的字符识别算法的实现系名称信息工程系专业名称自动化学生姓名王加指导教师扈书亮一、课题来源及意义神经网络模式识别方法是近几年兴起的模式识别领域的一个新的研究方向。由于神经网络的高速并行处理、分布存储信息等特性符合人类视觉系统的基本工作原则，具有很强的自学习性、自组织性、容错性、高度非线性、高度鲁棒性、联想和记忆的功能和推理意识的功能等，能够实现目前基于计算理论层次上的模式识别理论所无法完成的模式信息处理工作，所以，采用神经网络进行模式识别、开辟了模式识别发展的新途径。数字图像技术是图像处理领域中的一个重要研究方向。数字图像处理技术发展到今天，数字图像识别技术已经获得长足的进步。在工程、工业以及科学研究中的应用有着广阔的前景。由于人眼的判别容易产生视觉疲劳和失误而引起的误判、错判，甚至对一些关键信息漏判造成难以挽回的损失。因此，对数字字符显示的动态计算机自动识别、自动控制有着迫切的要求和实现的意义。在化工、电力、流量统计、技术检测等各个行业实现自动控制中的数字字符显示的计算机自动动态识别、自动控制在提高产品附加值和提高生产的效率、效益具有其特殊的意义。二、研究目标1.熟练掌握VisualC++6.0应用程序的开发已经应用2.了解人工智能的基本概念并且了解神经网络的基本原理。3.熟练掌握VisualC++6.0中的图片处理的基本方法。 北京理工大学2014届本科生毕业设计（论文）识别并给出结果样本训练字符特征输入三、研究内容在实现的过程中，分解为两个模块，即图像预处理模块和数字识别模块。其中图像预处理模块在对图像进行了一系列变换后，把最后提取到的数字字符提交给数字识别模块，然后进行识别并给出结果。在图像处理的过程当中，采用了许多图像处理的技术，最后把每个数字的特征提取出来。这些技术包括图像数据读取，图像的灰度化、二值化，图像的调整，离散噪声点的去除，字符的切分，图像的缩放，字符的细化，字符的平滑，图像的求梯度等。在数字识别模块中，利用神经网络（选用BP神经网络）进行字符识别。利用神经网络进行字符识别的过程主要包括网络的训练、数据的读取、字符的判定以及结果的输出。图像输入灰度转化图像二值化梯度锐化去离散噪声倾斜度调整图像分割归一化调整紧缩重排特征提取图1-1图像预处理流程图图1-2神经网络数字识别流程图四、研究方法与手段完成VisualC++6.0中对于图像的预处理和基于样本的BP神经网络的训练以及图像中数字的识别，并对其性能进行统计和总结。对于图像的灰度化、二值化等预处理、基于样本的BP神经网络的训练以及图像中数字的识别通过VisualC++6.0软件编程实现。特征提取是使用计算机提取图像信息，来决定每个图像的点是否属于一个图像特征。在字符识别当中，特征的选择是一个关键的问题。字符的特征可以分为两大特征：结构特征和统计特征。特征提取的原则是所选用的特征能够很好地反映字符本身的特点。 北京理工大学2014届本科生毕业设计（论文）五、进度安排1、2014.12.10—2015.03.05查找资料，通过书籍和视频学习C++的基本概念和语法，初步练习使用VisualC++软件。了解BP神经网络的基本原理及人工智能的基本概念。完成开题报告。2、2015.03.06—2015.03.29掌握VisualC++中的图片处理的基本方法。3、2015.03.30—2015.04.20编写程序，完成VisualC++中对于图像的预处理。4、2015.04.21—2015.05.19完成基于样本的神经网络的训练以及图像中文字的识别，并对其性能进行统计和总结。5、2015.05.20—2015.06.05撰写论文，准备答辩。六、主要参考文献[1]王万森.人工智能原理及其应用[M].电子工业出版社,2007.[2]孙鑫.VC++深入详解[M].电子工业出版社,2006.[3]马锐.人工神经网络原理[M].机械工业出版社,2010.[4]沈晶.VisualC++数字图像处理典型案例详解[M].机械工业出版社,2012.[5]何志丹VisualC++入门、进阶与应用实例[M].人民邮电出版社,2007.[6]曾志军,孙国强.基于改进的BP网络数字字符识别[J].上课理工大学学报,2008,32(1)51-53..[7]周鸣争.人工神经网络在自动控制系统中的应用[J].安徽机电学院学报,2000,02(5)71-75.[8]张世辉,孔令富.汉字识别及现状分析[J].燕山大学学报,2003,04(3)80-85..[9]连胜.基于神经网络的手写数字识别技术研究[D].中南大学,2008.[10]张昭昭,乔俊飞.模块化神经网络结构分析与设计[M].辽宁科学技术出版社,2014.[11]赵蓉.基于神经网络的联机手写识别系统研究与实现[D].西安电子科技大学,2011.[12]赵辉,叶子青.VisualC++系统开发实例精粹[M].人民邮电出版社.[13]黄襄念,程萍著.文字识别原理与策略[M].第一版.西南交通大学出版社,2002.. 北京理工大学2014届本科生毕业设计（论文）[14]韩力群.人工神经网络理论、设计及应用[M].第二版.化学工业出版社,2007[15]韩力群.人工神经网络教程[M].北京邮电大学出版社,2006.[16]ApplicationofImageProcessingtotheCharacterizationofNanostructures，ManuelF.M.Costa，ReviewsonAdvancedMaterialsScience.[17]BartlettPL.AdaBoostisConsistent[M].DepartmentofstaticsandcomputerscienceofCalifornia.选题是否合适：是□否□课题能否实现：能□不能□指导教师（签字）年月日选题是否合适：是□否□课题能否实现：能□不能□审题小组组长（签字）年月日 北京理工大学2014届本科生毕业设计（论文）摘　　要人工神经网络是通过对人脑生物神经机理进行简化，抽象和模拟之后建立起来的一种计算模型，属于机器学习的重要研究领域。本设计主要提出一种用神经网络来识别含有数字字符的方法。神经网络采用带有动量项和自适应学习率的反向传播算法(BP)进行训练。在识别之前要对图像进行一系列的预处理，主要包含灰度化、二值化、锐化、噪声去除、字符分割、字符归一化、字符骨架提取等。经过预处理的图片适合后续的训练及识别。预处理后对图片上的字符进行特征提取，特征提取的方法很多，这里选择效果较好的十三特征提取法来进行特征提取。最后采用BP神经网络来对待检测的图片上的数字进行识别。关键词：反向传播算法;BP网络;人工神经网络;图像处理;特征提取 北京理工大学2014届本科生毕业设计（论文）ABSTRACTArtificialneuralnetworkisacomputationalmodelwhichisestablishedafterthesimplificationofthebiologicalneuralmechanismofhumanbrainandabstractandsimulation.Itbelongstotheimportantresearchfieldofmachinelearning.Inthisdesign,aneuralnetworkisproposedtoidentifythemethodofcontainingdigitalcharacter.Theneuralnetworkistrainedbythebackpropagation(BP)algorithmwithmomentumandadaptivelearningrate.Beforeidentification,thereareaseriesofimagepretreatmentwhicharegraying,binarization,sharpening,noiseremoval,charactersegmentation,characternormalizationandcharacterskeletonextraction.Imageswhicharepretreatedwillbemoresuitableforthelatertrainingandrecognition.Afterpretreatment,featureextractionisperformed.Therearealotofwaysoffeatureextraction,theextractionmethodofthirteenfeatureswhichhasbetterevaluationwaschosenhere.Finally,itusesBPneuralnetworktoidentifythenumbersonthepictureswhicharetobetested.Keywords:BPalgorithm;BPNeuralNetwork;ANN;imageprocessing；FeatureExtraction. 目　　录　　第一章　　绪论11.1　字符识别的简介11.2　文字识别方法及研究现状11.3　课题研究内容2第二章　　人工神经网络32.1　人工神经网络算法32.2　BP网络6第三章　　图像的预处理133.1　256色位图灰度化133.2　灰度图像二值化143.3　图像的梯度锐化153.4　去除离散的杂点噪声153.5　整体倾斜度调整163.6　字符分割173.7　标准归一化193.8　紧缩的紧缩重排203.9　特征提取20第四章　　基于人工神经网络的数字识别234.1　系统框架236 4.2　基于神经网络的数字识别的基本过程234.3　程序的运行27第五章　　总结与展望295.1　总结295.2　后续工作及展望29参考文献外文资料中文译文致　　谢6 北京理工大学2014届本科生毕业设计（论文）第一章　　绪论1.1　字符识别的简介字符识别是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，然后用字符识别方法将形状翻译成计算机文字的过程；即，对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。如何除错或利用辅助信息提高识别正确率，是字符识别中最重要的课题。早在60、70年代，世界各国就开始有对于字符识别的研究，而研究的初期，多以文字的识别方法研究为主，且识别的文字仅为0至9的数字。以同样拥有方块文字的日本为例，1960年左右开始研究OCR的基本识别理论，初期以数字为对象，直至1965至1970年之间开始有一些简单的产品，如印刷文字的邮政编码识别系统，识别邮件上的邮政编码，帮助邮局作区域分信的作业；也因此至今邮政编码一直是各国所倡导的地址书写方式。1.2　字符识别方法及研究现状1.2.1　字符识别方法字符识别方法：字符识别方法基本上分为统计、逻辑判断和句法三大类。常用的方法有模板匹配法和几何特征抽取法。①模板匹配法将输入的字符与给定的各类别标准文字进行相关匹配，计算输入字符与各模板之间的相似性程度，取相似度最大的类别作为识别的结果。这种方法的缺点是当被识别类别数目增加时，标准字符模板数量也随之增加。这一方面会增加机器的存储容量，另一方面也会降低识别的正确率，所以这种方式适用于识别固定字型的印刷体字符。这种方法的优点是用整个字符进行相似度计算，所以对于字符缺损、边缘噪声等具有较强的适应能力。②几何特征抽取法抽取字符的一些几何特征，如字符的端点、分叉点、凹凸部分或水平、垂直、倾斜等各方向的线段、闭合环路等，根据这些特征的位置及相互关系进行逻辑组合判断，获得识别结果。这种识别方式由于利用了结构的信息，因此也适用于手写体文字那样变型较大的字符。1.2.2　字符识别发展现状字符识别可应用于许多领域，如阅读、文献资料的检索、信件的分拣、稿件的校对、银行支票的处理、商品发票的统计汇总、商品编码的识别等。它可以方便用户快速录入信息，提高各行各业的工作效率。进入20世纪90年代以后，随着我国信息化建设的全面开展，以及6 北京理工大学2014届本科生毕业设计（论文）我国信息自动化和办公自动化的普及，大大推动了字符识别技术的进一步发展，使字符识别技术的识别正确率、识别速度满足了广大用户的要求。文字识别技术诞生20余年来，经历从实验室技术到产品的转变，目前已经步入行业应用开发的成熟阶段。相比发达国家的广泛应用情况，在国内，文字识别技术在各领域的应用还有着广阔的空间。随着国家信息化建设的发展，文字识别技术拥有了一个全新的行业应用局面。各个研究文字识别的软件将会更加深入到信息化建设的各个领域。1.3　课题研究内容本课题研究内容如下：1.BP神经网络是人工神经网络的其中一种，它利用实际输出与期望输出之差对网络的各层连接权由后向前前逐层进行校正。通过学习BP网络的算法，对BP网络进行反复训练，确定稳定的权值与阈值，进而应用到字符识别系统中去。2.对待识别图片进行一系列预处理。预处理的过程主要包括对于图像的灰度化、二值化、图像的梯度锐化、离散噪点的去处、图像倾斜度的调整、字符的分割、图像的归一化处理、图像的紧缩重排等。3.识别过程分为三个阶段：图像预处理阶段，BP网络的训练阶段，字符识别阶段。设计程序分别完成三个阶段，利用BP神经网络识别正确出图片中的数字信息。6 北京理工大学2014届本科生毕业设计（论文）第二章　　人工神经网络2.1　人工神经网络人工神经网络（ArtificialNeuralNetwork，简称ANN），以数学模型模拟神经元活动，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。人工神经网络具有自学习、自组织、自适应以及很强的非线性函数逼近能力，拥有强大的容错性。它可以实现仿真、预测以及模糊控制等功能。是处理非线性系统的有力工具。2.1.1　人工神经网络算法一、设计信息处理单元连接的方式按照信息处理单元的连接方式，神经网络可以分为多种类型。这里介绍按照结点有无反馈划分的两种典型的网络结构：（1）前馈网络网络可以分为几个层。各层按信号传输先后顺序依次排列，第i层的神经元只接受第i-1层神经元给出的信号。各神经元之间没有反馈。输入层结点与输出层结点称为“可见层”，其他中间层则称为“隐层”。（2）反馈网络网络分层，某些结点除了接受外加输入以外，还要接受其他结点的反馈，或者是自身的反馈。当然，除了这种划分方式，还有按照层数划分为单层网络与多层网络，按照输入数据的特点划分为离散网络和连续网络等。不同的网络在性能和效率上会有很大的差异，一般来说，跨层连接的结点越多，网络越是可靠；层数越多，网络的效率越低；反馈越多，网络的学习能力越强；结点个数越多，网络的记忆能力就越好。因此往往要根据实际应用设计网络的连接。在这里，我们不难得出一个结论：信息处理单元连接的方式的设计是人工神经网络算法设计的一个重要方面。二、设计学习算法在人工智能领域，人工神经网络是模拟人脑的模式匹配的主要手段。根据常识我们很容易理解，人脑要对某个模式得到正确匹配，需要大量的训练和纠正。训练越多，纠正越多，匹配就越准确。人工神经网络也是如此，要通过大量的学习才能投入正确使用，在使用中又不断地自我学习。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)6 北京理工大学2014届本科生毕业设计（论文）区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。这个例子引出了一个“学习算法”。学习算法的设计是人工神经网络算法设计的另外一个重要的方面。学习算法设计得好，网络的学习能力就越强，容错能力也越强。三、设计功能函数信息处理单元的功能是人工神经网络算法设计的又一重要方面，一般以功能函数的形式给出（及模型中的F函数）。功能函数的设计直接影响到网络的功能。常见的功能函数有：（1）简单线性函数神经元功能函数F连续取值，输入X由连接矩阵W加权产生输出。F(X)=X（2）对称硬限幅函数F(X)=SGN(X-Θ).此函数只有二值，大于阀值Θ输出+1，小于阀值Θ输出-1。（3）正线性函数F(X)=0ifX<0;F(X)=XifX>=0。另外还有硬限幅函数，线性函数，饱和线性函数，对称饱和线性函数，淡极性S形函数，双曲正切S形函数，竞争函数等。综上，设计信息处理单元的连接方式，设计网络学习算法，设计信息处理单元的功能，是人工神经网络算法设计的三个基本的方面。具体的算法细则应该根据网络的性能，功能，应用场合等设计。6 北京理工大学2014届本科生毕业设计（论文）图2-1　　线性神经网络结构模型2.1.2　神经网络的学习过程模仿人的学习过程，人们提出了多种神经元网络的学习方式，其中主要有两种：有教师学习、无教师学习。按学习方式进行神经元网络模型分类时，可以分为相应的两种，即有教师学习网络、无教师学习网络。有教师型的学习或者说有监督型的学习是在有指导和考察的情况下进行的，如果学完了没有达到要求，那么就要再继续学习。无教师型的学习或者说无监督性的学习是靠学习者或者说神经系统本身自行完成的。这种学习没人监督，学到什么程度全靠大脑中的神经元网络的学习能力，最后也能把这种知识掌握到一定的程度。学习是一个相对持久的变化过程，往往也是一个推理的过程。例如通过经验也可以学习，学习是神经元网络最重要的能力。　　本设计采用的学习过程为有教师学习过程，其模型大致如下。图2-2　　有教师学习网络2.1.3　神经网络的学习规则输入部接收外来的输入样本，由训练部进行网络的权系数6 北京理工大学2014届本科生毕业设计（论文）调整，然后由输出部输出结果。在这个过程中，期望的输出信号可以作为教师信号输入，由该教师信号与实际输出进行比较，产生的误差去控制修改权系数。在图中，，，…，，是输入样本的信号，，，…，是权系数。输入样本信号Xi 可以取离散值“0”或“1”。输入样本信号通过权系数作用，在u产生输出结果，即有：再把期望输出信号Y(t)和u进行比较，从而产生误差信号e。即权值调整机构根据误差e去对学习系统的权系数进行修改，修改方向应使误差e变小，不断进行下去，使到误差e为零，这时实际输出值u和期望输出值Y(t)完全一样，则学习过程结束。图2-3　　学习机构模型2.2　BP网络BP(Back-Propagation)神经网络算法，即反向传播神经网络算法，是一种用于前向多层神经网络的反向传播学习算法，这种算法由梅尔哈特(D.Rumelhart)和麦克莱伦德(MeClelland)于1985年提出，并实现了明斯基的多层网络设想。在BP神经网络算法中，我们可以对组成前向多层网络的各人工神经元之间的连接权值进行不断的调整，从而使该神经网络能够将输入它的信息变换成所期望的输出信息。如果将BP神经网络算法看作是一个变换，而网络中各人工神经元之间的连接权值看作变换中的参数，那么，这种算法的目的就是要求得这些参数。更进一步的说，BP神经网络算法在调整各人工神经元的连接权值时，所依据的是该网络的实际输出与其期望输出的差值，这个差值被反向的一层一层的向后传播，来决定各层神经元的连接权值的修改。目前，BP神经网络算法已经成为应用最多而且最主要的一种训练前向人工神经网络的学习算法，同时，这种算法也是前向网络得以广泛应用的基础。BP神经网络的网络结构是一个前向的多层网络，该网络中不仅含有输入层节点和输出层节点，而且还含有一层或多层的隐层节点。在BP神经网络中，同层的各神经元之间互不连接，相邻层的神经元则通过权值连接。当有信息输入BP神经网络时，信息首先由输入层节点传递到第一层的隐层节点，经过特征函数(人工神经元)作用之后，再传至下一隐层，这样一层一层传递下去，直到最终传至输出层进行输出。其间各层的激发函数要求是可微的，一般是选用S型函数。最基本的BP神经网络是包括输入层，隐层，输出层这三层节点的前馈网络。如下图所示。6 北京理工大学2014届本科生毕业设计（论文）图2-4　　多层前馈网络结构示意图2.2.1　BP神经网络的学习过程BP神经网络的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能够得到所期望的输出。BP神经网络的学习过程由正向传播和反向传播组成。正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果；反向传播用于逐层传递误差（误差，即实际的输出与期望的输出之间的差值），修改神经元之间的连接权值，使得网络对输入信息进行计算后所得到的输出能够达到期望的误差要求。BP神经网络的学习方法是使用一组训练样例对网络的连接权值进行训练，每一个样例中，都包括输入及期望的输出两部分。在正向传播过程中，首先将训练样例的输入信息输入到网络中，输入信息从输入层经隐层节点逐层计算处理后，传至输出层。在计算处理过程中，每一层神经元的状态只影响下一层神经元的状态，如果在输出层得到的结果不是所期望的输出，那么就转为反向传播。反向传播把误差信号沿原连接路径返回，并按照一定的原则对各层神经元的连接权值进行适当修改，直至第一个隐层，这时再开始进行正向传播，利用刚才的输入信息进行正向网络计算，如果网络的输出达到了误差要求，则学习过程结束，如果网络的输出达不到误差要求，则再进行反向传播的连接权值调整。这一过程不断往复，直到网络正向计算的输出结果达到误差要求为止，这时学习就告结束。网络的训练过程结束之后，在用于求解实际问题时就只须使用正向传播，而不需要再进行反向传播了。BP神经网络的学习过程如下：(1).选择一组训练样例，每一个样例由输入信息和期望的输出结果两部分组成。一般来说，神经网络的输入信息是一个向量(，，…，)，我们称之为输入向量，神经网络的输出信息也是一个向量(，，…，)，我们称之为输出向量。(2).从训练样例集当中取一样例，把输入信息输入到网络中。(3).分别计算经过神经元处理后的各层节点的输出。(4).计算网络的实际输出和期望输出的误差。(5).从输出层反向计算到第一个隐层，并按照能使误差向减小最快的方向发展的原则，调整网络中各神经元的连接权值。(6).对训练样例集当中的每一个样例重复(3)-(5)的步骤，直到整个训练样例集的误差达到要求时为止。6 北京理工大学2014届本科生毕业设计（论文）2.2.2　BP网络学习的整体步骤第一步.设计与问题特征相适应的网络结构，包括网络的层数和网络各层的节点数。并且合理选择神经网络的学习参数，包括学习效率η和冲量参数α，这两个参数一般都设置成小于1的正数。同时，还要确定神经网络的平均误差容限。一般来说，最基本的BP神经网络至少要包含三层：输入层，隐层，输出层。此处为了简便起见，我们以最基本的BP神经网络为例来进行说明。其中，网络的输入层节点的数目和输出层节点的数目是根据训练样例来确定的，输入层的节点数目等于每一个训练样例当中，输入向量所包含的分量数目；输出层的节点数目等于每一个训练样例当中，输出向量所包含的分量数目。隐层节点数目的选择没有确定的指导原则，是带有尝试性的。在实践中，我们认为，应该按照以下两个原则来选择隐层节点的数目：a.所选择的隐层节点数目应该能够让神经网络的学习过程收敛，并且能够让神经网络的学习过程的收敛速度最快。b.所选择的隐层节点数目应该尽可能的少。第二步.对网络各层节点的连接权值和阈值进行初始化，将其初始化成[-1,+1]区间内的随机数。此处，为了表示方便，我们分别用,,来表示输入层，隐层和输出层的节点数目。在BP神经网络中，对于隐层的第i个节点来说(i=1,2,…,)，它具有个连接权值,,…,，这个连接权值分别对应于输入层的个节点；此外，它还具有自己的阈值。对于输出层的第j个节点来说(j=1,2,…,)，它具有个连接权值,,…,，这个连接权值分别对应于隐层的个节点；此外，它还具有自己的阈值。第三步.假设训练样例集当中共包含K个训练样例。对训练样例集当中的每个训练样例，进行第四步～第六步处理。每个训练样例包括输入向量X=(，，…，)和期望的输出向量Y=(，，…，)。当对训练样例集中所有的样例都进行了第四步～第六步的处理之后，就完成了学习过程的一次迭代。第四步，正向传播。根据当前的训练样例，逐层正向计算网络各层节点的实际输出。对于隐层的第i个节点来说(i=1,2,…,)，其输出值为。其中，是隐层第i个节点关于输入层的第j个节点的连接权值，是来自于输入层的第j个节点的输入值，也就是当前的训练样例的输入向量当中的第j个分量，是隐层第i个节点的阈值。对于输出层的第i个节点来说(i=1,2,…,)，其输出值为其中，是输出层第i个节点关于隐层的第j个节点的连接权值，是来自于隐层的第j6 北京理工大学2014届本科生毕业设计（论文）个节点的输出值，是输出层第i个节点的阈值。而式中的函数，为S型激发函数。第五步，计算当前训练样例的输出误差。设当前的训练样例的实际输出向量为(，，…，)，期望输出向量为(，，…，)，则当前的训练样例的输出误差为。第六步，反向传播。根据当前训练样例所产生的输出值，反向逐层计算网络各节点的偏差信号δ，并根据这个偏差信号来调整网络各节点的连接权值和阈值。具体的说，是进行如下的计算：1).计算输出层和隐层的各节点的偏差信号。对于输出层的第i个节点来说(i=1,2,…,)，其偏差信号为。其中，表示输出层的第i个节点的输出值，表示当前的训练样例的期望输出向量当中的第i个分量。对于隐层的第i个节点来说(i=1,2,…,)，其偏差信号为。其中，表示隐层的第i个节点的输出值，表示输出层的第j个节点关于隐层的第i个节点的连接权值，表示输出层的第j个节点的偏差信号。2).根据输出层和隐层各节点的偏差信号，对输出层和隐层的各节点的连接权值和阈值进行调整。对于输出层的第i个节点来说(i=1,2,…,)，，，,。其中表示当前输出层第i个节点关于隐层第j个节点的连接权值，表示当前输出层第i个节点的阈值，)和分别表示上次调整时计算出的连接权值和阈值，和分别表示当前连接权值和阈值的变化量，和分别表示上次调整时连接权值和阈值的变化量，和分别是输出层第i个节点的输出值和偏差信号，和分别是学习效率和冲量参数。对于隐层的第i个节点来说(i=1,2,…,),,,，6 北京理工大学2014届本科生毕业设计（论文）。其中，表示当前隐层第i个节点关于输入层第j个节点的连接权值，表示当前隐层第i个节点的阈值，和分别表示上次调整时计算出的连接权值和阈值，和分别表示当前连接权值和阈值的变化量，和分别表示上次调整时连接权值和阈值的变化量，和分别是隐层第i个节点的输出值和偏差信号，和分别是学习效率和冲量参数。初始时，所有节点的连接权值的变化量和阈值的变化量都被初始化为0。第七步，计算神经网络的输出误差。其中，是训练样例集当中第P个训练样例的输出误差。若E≤(神经网络的平均误差容限)，或者学习过程达到了指定的迭代次数，则学习过程结束，否则转向第三步，准备进行学习过程的下一次迭代。6 北京理工大学2014届本科生毕业设计（论文）图2-5　　BP网络学习过程图6 北京理工大学2014届本科生毕业设计（论文）第三章　　图像的预处理系统的程序分为图像预的预处理和BP神经网络的训练识别两大模块。本章主要介绍的是图像预处理过程。在图像的预处理过程中，采用了许多图像处理的技术，最后将每个数字的特征提取出来。这些技术包括，图像的灰度化、图像的二值化、图像的梯度锐化、去除离散的杂点噪声、图像整体倾斜度的调整、字符分割、图像的归一化处理、图像的紧缩重排等。图3-1　　初始读入的256色位图3.1　256色位图灰度化对于256色的位图的调色板内容比较复杂，是的对于图像的处理的许多算法都没有办法展开，因此有必要其进行灰度的处理。所谓灰度图像就是图像的每一个像素R，G，B分量的值是相等的。彩色图像R，G，B的值是不相同的，所有显示出红绿蓝的各种颜色。灰度图像没有颜色的差异，只有亮度的不同。灰度值大的像素点比较亮（最大为255，白色），灰度值小的像素点比较暗（像素值最小为0，黑色）。图像的灰度化有各种不同的算法，比较直接的一种就是给像素的RGB值各自一个加权系数，然后求和，同时还要对调色板表项进行相应的处理。根据人眼对红绿蓝三色的敏感程度，可以使用以下比例式进行转换：经过灰度处理后的256色位图如图3-2所示。图3-2　　经过灰度处理的文件3.2　灰度图像二值化进行灰度化的处理后，图像的每个像素均只有一个值，即像素的灰度值。灰度值的大小决定了像素的明暗程度。为了更加便利的进行图像处理，还需要做二值化处理。图像的二值化就是把图像中的像素根据一定的标准划分为两种颜色。本设计中划分为黑色和白色。图像的二值化也有很多成熟的算法，这里采用给定阈值的算法。因为考虑到所要处理的图像大多是从印刷物上扫描得来的，底色多为白色，所以将这个阈值固定为220。二值化实现的流程图如下。6 北京理工大学2014届本科生毕业设计（论文）图3-3　　二值化流程图图3-4　　二值化后的图片3.3　图像的梯度锐化由于需要处理的图像很多是由印刷出版物上扫描得来的，所以经常会有字体模糊的情况，给识别图像带来一定的困难。所以需要进行图像梯度锐化的处理，使较为模糊不清的图像变得清晰可见，同时可以对离散噪声起一定的消除作用。图像锐化的方法很多，这里采用的方法属于微分法。采用Roberts梯度算子对图像进行锐化。定义如下：设原始图像上的点为,定义在处的梯度矢量为：设一个判定阈值为，变化后的图像定义为：6 北京理工大学2014届本科生毕业设计（论文）通过公式可以看出梯度锐化可以让模糊的边缘变得清楚，同时选择合适的阈值还可以减弱和消除一些细小噪声。梯度锐化具备一定的去噪声能力，但同时会对字符的边缘有所损伤。图3-5　　梯度锐化后的图像3.4　去除离散的杂点噪声图像可能会在扫描或者传送过程中夹带了一些噪声，去除噪声在图像处理中是一种常用的方法。通常去除离散噪声使用滤波的方法，比如中值滤波，均值滤波。但这些算法不适合处理数字字符这样目标细长的图像，因为在滤波的过程中很可能会去除掉字符本身的像素。这里是采用去除杂点的方法进行去噪声处理。具体算法如下：首先扫描整个图像，当发现单个黑色点的时候，就考察和该黑色点间接或直接相连的黑色点的个数有多少，如果大于一定的数值，那就说明该点不是离散点，否则就属于离散点，应当把它去掉。在考察黑色点是否相连的情况用的是递归的方法。具体流程如下图所示。6 北京理工大学2014届本科生毕业设计（论文）图3-6　　去处离散噪声流程图图3-7　　去除离散杂点噪声后的图像3.5　整体倾斜度调整6 北京理工大学2014届本科生毕业设计（论文）因为读取进来的图像有可能存在角度倾斜，所以必须进行位置调整，使得字符大致处在同一水平位置，这样既便于其后字符的分割，也可以增加字符识别的准确率。调整的算法主要是依据图像左右两边的黑色像素的平均高度来确定。一般来说，由众多的字符组成的图像，它的左右两边的字符像素的高度应该是处于水平位置附近的，如果两边字符像素的平均位置存在比较大的落差，那就说明图像存在倾斜，需要进行倾斜调整。具体说来，首先要分别计算机图像左半边和右半边的平均高度，然后求得斜率，根据斜率重新编辑图像，里面包含了一个从新图像到旧图像的像素映射。如果新图像的像素映射到旧图像中时超出了旧图像的范围，则把新图像中的该像素设置为白色。图3-8　　经过倾斜度调整后的图像3.6　字符分割系统读取进来的图像一般会包含不止一个数字，识别的时候只能根据每一个字符的特征独立进行判断，因此需要进行字符分割这一步骤。这一步的目的是将图像中的字符分别独立分割出来。具体过程如下：第一步，先自下向上对图像进行逐个扫描，直至遇到第一个黑色的像素点，记录下来，随后再反过来由上向下对图像进行逐行扫描，直至找到第一个黑色的像素，这样就找到图像大概的高度范围。第二步，在这个高度的范围之内，自左向右逐列进行扫描，遇到第一个黑色的像素点时认为这个点是字符分割的起始位置，然后继续扫描，直至遇到第一列中没有黑色的像素，则认为这个字符分割完成，然后继续扫描。按照上述的方法重复一直扫描直至图像的最右端。这样就得到了每个字符的相对精确地所在范围。第三步，在已知的每个字符比较精确的宽度范围内，按照第一步的方法，分别进行自上而下以及自下而上的逐行扫描来获取每个字符精确的高度范围。为了清楚的看到图像分割的结果，在这里用函数DrawFram在每个分割完毕的字符周围画上边框，这个边框只起到标识图像的作用，并不会改变位图本身的内容。此过程的流程图如下图所示。6 北京理工大学2014届本科生毕业设计（论文）图3-9　　字符分割流程图图3-10　　经过字符分割后并画上边框的图像6 北京理工大学2014届本科生毕业设计（论文）3.7　图像的归一化处理因为通过扫描获得的图像中的字符大小存在不同的差异，然而相对来说，统一尺寸的字符识别的标准性更强，准确率也加更高。标准化图像就是把原来各尺寸大小不相同的字符统一到同一尺寸，本设计统一到同一高度，然后根据设定的高度来调整字符宽度。具体步骤如下：先得到原来字符的高度，跟系统要求的高度做比较，得出要变换的系数，然后根据得到的系数求出变换后应有的宽度。在得到宽度之后，把新图像里面的点按照差值的方法映射到原图像中。图像标准归一化的高度和宽度可以通过对话框由使用者自行输入，但是为了以后特征提取处理方便，进行BP网络训练的时候缩短训练时间，标准化的高度和宽度不宜设置过大。这里归一化宽度设为8，高度设为16。归一化信息输入对话框的执行效果如图3-11所示。图3-11　　输入归一化尺寸信息时的对话框归一化流程图如下图所示。6 北京理工大学2014届本科生毕业设计（论文）图3-12　　归一化流程图图3-13　　归一化执行效果图3.8　紧缩的紧缩重排经过标准归一化处理后的各个字符在图像中位置不确定，也并不一定整齐，进行特征提取时相对麻烦，所以要把经过归一化处理后的字符进行紧缩重排，以形成新的位图句柄，方便下一步特征提取的操作。具体流程如下图所示。图3-14　　紧缩重排流程图图像紧缩重排后的效果如图3-15所示。图3-15　　紧缩重排后的效果6 北京理工大学2014届本科生毕业设计（论文）3.9　特征提取经过上面一系列的变换，原来大小不同，分布不规律的各个字符变成了大小相同，排列整齐的字符。下面就要从被分割归一化处理完毕的字符中，提取最能体现这个字符特点的特征向量。将提取出的训练样本中的特征向量带入BP网络之中，就可以对网络进行训练，提取出待识别的样本中的特征向量带入到训练好的BP网络中，就可以对字符进行识别。特征向量的提取方法多种多样，这里采用13点特征提取法。所谓13点特征提取法，即从每个字符中提取13个特征点。首先把字符平均分成八份，统计每一份内黑色像素点的个数作为8个特征，如图3-16所示。图3-16　　13点特征提取法然后统计水平方向中间两列和竖直方向中间两列的黑色像素点的个数作为4个特征，最后统计所有黑色像素点的个数作为第13个特征。如图3-17所示。图3-17　　13点特征提取法具体流程如下图所示。6 北京理工大学2014届本科生毕业设计（论文）图3-18　　特征提取流程图以上就是特征向量提取的方法。第四章　　基于人工神经网络的数字识别4.1　系统框架系统在实现的过程当中，分成两大部分，即图像预处理模块和神经网络训练模块以及识别模块。其中，图像预处理模块在对图像进行了一系列转换后，把最后提取到的数字字符提交给数字识别模块，然后进行识别并给出结果。具体流程如下：（1）打开含字符的图像文件（训练的时候为训练样本图片，识别的时候为含有未知数字的测试图片），并将文件中的信息读入内存。（2）打开输入归一化高度和宽度的对话框。接受用户输入。6 北京理工大学2014届本科生毕业设计（论文）（3）进行图像的预处理。（4）进入BP网络训练部分。训练完毕的BP网络的权值保存到文件中。（5）训练结束进入识别部分。打开一幅含有未知数字的图像，进行预处理和特征提取，然后将提取后的特征送入BP网络，通过网络的输出可以判定输入的字符，以实现字符的识别，识别结果显示在屏幕上，同时也存储在文本文件中。样本训练图像预处理图像输入BP神经网络识别并输出结果图4-1　　程序总体流程4.2　基于神经网络的数字识别的基本过程整个系统的程序实现分为图像预处理和神经网络识别两大模块。在图像预处理部分采用了许多图像处理的技术，最后把每个数字的特征提取出来。其结果利用BP网络进行识别。4.2.1　图像预处理图像的预处理流程图如图4-2所示。预处理过程中的每一步已在第三章中详细介绍。图像输入灰度转化图像二值化梯度锐化去离散噪声倾斜度调整图像分割归一化调整紧缩重排特征提取图4-2　　图像预处理流程图6 北京理工大学2014届本科生毕业设计（论文）4.2.2　BP网络的设计及实现利用BP网络进行字符识别的过程主要包括网络的训练、数据的读取、字符的判定、结果的输出。样本训练开始字符特征输入结束识别并给出结果图4-3　　神经网络数字识别流程图BP网络的重要的用途之一就是用于模式识别，任务是要设计并训练出一个可行、高效的BP网络，用来准确识别出0-9共10个数字。经过图像的预处理之后，可以将最终提取到的字符的特征送入BP网络进行训练及识别。假设设定的字符标准归一化的高度为8，宽度为16，那么对于每个字符就有128维的特征。设计BP神经网络的关键之处在于高效的对于数字特征提取方法、大量有代表性的训练样本、高效稳定收敛快速的学习方法。BP网络应用流程如图4-4所示。识别待识别图片样本训练图片数字特征提取BP神经网络结果：0,1,2,3,4,5…,9图4-4　　BP网络应用流程下面说明BP网络的三个层神经元数目的确定。6 北京理工大学2014届本科生毕业设计（论文）BP网络应用的第一步是用一支训练样本来训练网络。这里，BP网络输入层的结点个数为图像预处理后所输出的特征的维数。本设计采用归一化，特征提取采用的是逐个像素特征提取法，也即直接利用每个点的像素值来作为特征。这样，对于每一个输入样本，就有个特征。所以可以确定，输入层的节点数为128。对于隐层的节点数，一般来说，隐层神经元的数目越多，那么BP网络也就越精确，训练时间也越长。本设计中，使用个隐层神经元。对于输出层的节点数的确定，取决于如何设定标准输出。即如何对目标期望输出进行编码。本设计中，采用码来对进行编码，若输出，采用来表示；对于输出，采用来表示；对于输出，采用来表示。如此，可以确定输出层神经元的数目为4，即为输出向量的维数。然而通过后续实践可以发现，当采用这样的目标输出向量时，BP网络无法收敛。原因是这里采用的激活函数S型函数的输出永远不能是或，而只能是趋近。所以，纠正后的目标输出向量方案如下：的编码：的编码：的编码：的编码：的编码：的编码：的编码：的编码：的编码：的编码：BP网络进行数字识别流程如下：首先，利用大量的训练样本来训练网络，得到以文件形式保存的权值。这里采用了含有40个字符的数据图像作为训练样本，图像包含了Arial字体、斜体、粗体和10个倾斜而数字，训练样本如图4-5所示。6 北京理工大学2014届本科生毕业设计（论文）图4-5　　训练样本图片其次，训练完BP网络后，就可以用它对数据进行识别。在训练之前，程序要求输入训练参数，如图4-6所示。图4-6　　BP网络训练参数输入框利用该BP网络对训练样本进行训练的结果如图4-7所示。图4-7　　训练结果4.3　程序的运行程序的主界面如图4-8所示。6 北京理工大学2014届本科生毕业设计（论文）图4-8　　程序主界面程序的主要功能都通过这几个菜单来实现。常用的菜单也已经集成到了工具栏上，如打开、保存、重新加载、训练网络、功能识别。打开一个训练进行训练，训练结束后打开一个测试图片，如图4-9，点击工具栏中的按钮进行识别，识别结果如4-10所示。6 北京理工大学2014届本科生毕业设计（论文）图4-9　　打开一个测试样本图4-10　　识别结果至此，已完整的运行了一次由训练到识别的过程。下一次进行识别的时候，由于本次训练好的网络已经保存了下来，所以就可以直接识别了，无需再训练。如果识别的对象发生了较大的变化而难以识别的时候，就需要重新制作训练样本进行识别。6 北京理工大学2014届本科生毕业设计（论文）第五章　　总结与展望5.1　总结基于BP神经网络的字符识别系统的设计能够实现对待识别图像中数字的辨认，通过对图片进行一系列处理，最后识别得出所给出图片中显示的数字。主要完成的内容包括：1、查阅大量资料，了解了BP神经网络的算法及训练过程，综合分析了文字识别系统在国内的研究现状。2、利用VisualC++6.0编写了系统的程序，实现了图片的预处理、数字特征的提取、BP神经网络的训练、文字的识别等功能。3、通过测试表明，经过训练的BP神经网络能实现对待识别图像中数字的辨认功能，可以提供智能化简洁化的识别系统，节省大量的人力物力，操作简单、结果明显。5.2　后续工作及展望由于本文所涉及的系统比较庞杂，再加上时间等客观因素的限制，还有很多方面需要完善。例如本设计对训练样本的依赖性很大，对于倾斜字符或者不同字体的字符来说识别率不高，此时可以通过加大训练样本的数目来解决，并考虑各种倾斜角度的以及其他几种常用的字体，那么该BP网络将会有更加普遍的适应性。此外，训练样本必须是的顺序数字循环，如果使用这样的乱序训练样本，会导致训练无法成功，这使得系统的适应性变得很差。如果能克服这些问题，将大大提高此程序的适应能力和识别率。6 北京理工大学2014届本科生毕业设计（论文）参考文献[1]王旭王宏王文辉.人工神经元网络原理与应用[M].第二版.东北大学出版社,2007年.[2]孙鑫.VC++深入详解[M].电子工业出版社,2006.[3]马锐.人工神经网络原理[M].第一版.机械工业出版社,2010年9月.[4]沈晶.VisualC++数字图像处理典型案例详解[M].机械工业出版社,2012.[5]曾志军,孙国强.基于改进的BP网络数字字符识别[J].上课理工大学学报,2008,32(1)51-53..[6]赵辉叶子青.VisualC++系统开发实例精粹[M].人民邮电出版社.[7]张世辉,孔令富.汉字识别及现状分析[J].燕山大学学报,2003,04(3)80-85..[8]李连胜.基于神经网络的手写数字识别技术研究[D].中南大学,2008.[9]赵蓉.基于神经网络的联机手写识别系统研究与实现[D].西安电子科技大学,2011.[10]赵辉,叶子青.VisualC++系统开发实例精粹[M].人民邮电出版社.[11]黄襄念,程萍著.文字识别原理与策略[M].第一版.西南交通大学出版社,2002.[12]韩力群.人工神经网络理论、设计及应用[M].第二版.化学工业出版社,2007.[13]韩力群.人工神经网络教程[M].北京邮电大学出版社,2006.[14]张宏林蔡锐.VisualC++数字图像模式识别技术及工程实践[M].北京:人民邮电出版社,2003.[15]B.D.Piploy.PatternRecognitionandNeuralNetworks[M].1-1.人民邮电出版社,2009年.[16]KumarS.NeuralNetworks[M].1-1.McGraw-Hill,2006年8月.[17]MaY,ZhanK,WangZ.ApplicationsofPulse-CoupledNeuralNetworks[M].高等教育出版社.[18]Haykin,S.NeuralNetworksandLeaningMachines[M].1-1.机械工业出版社,2009年.[19](美)李普曼拉茹瓦.C++PrimerPlus[M].第六版.人民邮电出版社,2006年.6 外文资料ArtificialNeuralNetworksArtificialNeuralNetworks-BasicFeaturesComposedofalargenumberofprocessingunitsconnectedbyanonlinear,adaptiveinformationprocessingsystem.Itisthebasisformodernneuroscienceresearchfindingspresented,tryingtosimulatealargeneuralnetworkprocessing,memory,informationprocessingwayofinformation.Artificialneuralnetworkhasfourbasiccharacteristics:(1)non-linearnon-linearrelationshipisthegeneralcharacteristicsofthenaturalworld.Thewisdomofthebrainisanonlinearphenomenon.Artificialneuralactivationorinhibitionintwodifferentstates,thisbehaviormathematicallyexpressedasalinearrelationship.Thresholdneuronshaveanetworkwithbetterperformance,canimprovefaulttoleranceandstoragecapacity.(2)non-limitationofaneuralnetworkisusuallymoreextensiveneuronalconnectionsmade.Theoverallbehaviorofasystemdependsnotonlyonthecharacteristicsofsingleneurons,andmayprimarilybyinteractionbetweenunits,connectedbythedecision.Byalargenumberofconnectionsbetweenthecellsofnon-simulatedbrainlimitations.Associativememorylimitationsofatypicalexampleofnon.(3)characterizationofartificialneuralnetworkisadaptive,self-organizing,self-learningability.Neuralnetworkscannotonlydealwiththechangesofinformation,butalsoprocessinformationthesametime,nonlineardynamicsystemitselfisalsochanging.Iterativeprocessisfrequentlyusedindescribingtheevolutionofdynamicalsystems.(4)Non-convexityofthedirectionoftheevolutionofasystem,undercertainconditions,willdependonaparticularstatefunction.Suchasenergyfunction,anditsextremevaluecorrespondingtothestateofthesystemmorestable.Non-convexityofthisfunctionismorethanoneextremum,thissystemhasmultiplestableequilibrium,whichwillcausethesystemtotheevolutionofdiversity.Artificialneuralnetwork,neuralprocessingunitcanbeexpressedindifferentobjects,suchasfeatures,letters,concepts,orsomeinterestingabstractpatterns.Thetypeofnetworkprocessingunitisdividedintothreecategories: inputunits,outputunitsandhiddenunits.Inputunitreceivingthesignalanddataoutsideworld;outputunitforprocessingtheresultstoachievetheoutput;hiddenunitisinbetweentheinputandoutputunitscannotbeobservedfromoutsidethesystem6 unit.Neuronsandtheconnectionweightsreflectthestrengthoftheconnectionsbetweenelementsofinformationrepresentationandprocessingreflectedinthenetworkprocessingunitconnectedrelationships.Artificialneuralnetworkisanon-procedural,adaptability,thebrain'sinformationprocessingstyle,itsessenceistransformationthroughthenetworkanddynamicbehaviorisaparalleldistributedinformationprocessing,andtovaryingdegreesandlevelsmimicbraininformationprocessingsystem.Itisinvolvedinneuralscience,thinking,scienceandartificialintelligence,computerscienceandotherinterdisciplinaryfields.Artificialneuralnetworksareparalleldistributedsystems,usingtraditionalartificialintelligenceandinformationprocessingtechnologyiscompletelydifferentmechanismtoovercomethetraditionalsymbolofartificialintelligence-basedlogicindealingwithintuition,unstructuredinformationdeficiencies,adaptive,Self-organizationandthecharacteristicsofreal-timelearning.ArtificialNeuralNetwork–HistoryIn1943,psychologistWSMcCullochmathematicallogicianW.Pittsneuralnetworkandtheestablishmentofamathematicalmodel,calledtheMPmodel.TheyputforwardbyMPmodelneuronsandnetworkstructureofformalmathematicaldescriptionofmethods,thatasingleneuroncanperformlogicfunctions,thuscreatingtheeraofartificialneuralnetwork.In1949,psychologistsproposedtheideaofsynapticstrengthvariable.60years,artificialneuralnetworktothefurtherdevelopmentofimprovedneuralnetworkmodelshavebeenproposed,includingthesensorsandtheadaptivelinearelement,etc..M.Minskyandsocarefulanalysisofthesensorrepresentedbytheneuralnetworksystemcapabilitiesandlimitations,thein1969publisheda"Perceptron"book,pointedoutthatthesensorcannotsolvetheissueofhigherorderpredicate.Theirargumenthasgreatlyinfluencedresearchinneuralnetworks,combinedwithserialcomputersandartificialintelligenceattheachievementsmadetocoverupthedevelopmentofnewcomputerandartificialintelligence,newwaysofnecessityandurgencytotheresearchofartificialneuralnetworksatalowebb.Inthemeantime,someartificialneuralnetworkremainscommittedtothestudy,researchersproposedtoadaptresonancetheory(ARTWang),ZiZuzhiyingshe,RenZhimachinenetwork,whilefortheneuralnetworkShuxueresearch.Moreresearchanddevelopmentofneuralnetworkresearchfoundation.In1982,CaliforniaInstituteofTechnologyphysicistJJHopfieldproposedHopfieldneuralgridmodel,theconceptof"computationalenergy"conceptgivesthenetworkstabilityofthejudge.In1984,hemadecontinuoustimeHopfieldneuralnetwork6 modelfortheneuralcomputerresearchdonepioneeringworktocreateaneuralnetworkforassociativememoryandoptimizationofcomputingnewwaystoeffectivelypromotethestudyofneuralnetworks,In1985,therearescholarsoftheBoltzmannmodel,theuseofstatisticalthermodynamicsinthestudysimulatedannealing technologytoensuretheoverallstabilityofthewholesystemtendstopoint.1986tostudythemicrostructureofcognition,proposedthetheoryofparalleldistributedprocessing.ArtificialneuralnetworksinvariouscountriesoftheimportanceattachedbytheU.S.CongresspassedaresolutiontoJanuary5,1990beganwithadecadeasthe"braindecade",theinternationalresearchorganizationcalledonitsmembersto"brainofthe10in"totheglobalbehavior.InJapan's"real-worldcomputing(RWC)"project,theartificialintelligenceresearchhasbecomeanimportantpart.Themainconsiderationofartificialneuralnetworkmodeltopologyofthenetworkconnection,thecharacteristicsofneurons,learningrules.Currently,nearly40kindsofneuralnetworkmodel,includingbackpropagationnetwork,perceptron,selforganizingmaps,Hopfieldnetworks,Boltzmannmachines,meettheresonancetheory.Accordingtotheconnectiontopology,neuralnetworkmodelcanbedividedinto:(1)beforethenetworktothenetworkeachneuronfortheformerlevelofinputandoutputtothenextlevel,network,nofeedback,youcanuseadirectedloop-freegraph.Thisnetworksignalfromtheinputspaceandoutputspacetransformitsinformationprocessingcapabilitiesfromasimplenonlinearfunctionofseveralcomplex.Networkstructureissimple,easytoimplement.Back-propagationnetworkisatypicalfeedforwardnetwork.(2)feedbacknetworknetworkneuronshavefeedback,youcanuseanundirectedcompletegraph.Thisneuralnetworkinformationprocessingisthestateoftransformation,youcandealwithdynamicsystemstheory.Stabilityofthesystemiscloselyrelatedwiththeassociativememoryfunction.Hopfieldnetworks,Boltzmannmachinesbelongtothiscategory.Neuralnetworklearningisanimportantpartofitsadaptabilityisachievedthroughlearning.Accordingtotheenvironmentalchangesinthevalueoftherighttomakeadjustmentstoimprovethesystem'sbehavior.HebbproposedbytheHebblearningruleneuralnetworklearningalgorithmforthefoundation.Hebblearningrulethateventuallyoccurredinthesynapsesbetweenneurons,synapticcontactswiththesynapticstrengthofneuronalactivitybeforeandafterthechange.Onthisbasis,it6 proposedavarietyoflearningrulesandalgorithmstomeettheneedsofdifferentnetworkmodels.Effectivelearningalgorithm,makingneuralnetworkconnectionweightsthroughtheadjustment,constructionoftheobjectiveworldoftheintrinsicrepresentation,formingauniqueinformationprocessingmethod,informationCunchuandprocessingreflectedinthenetworkconnection.Accordingtodifferentlearningenvironment,neuralnetworklearningmethodscanbedividedintosupervisedlearningandunsupervisedlearning.Inmonitoringthestudy,thetrainingsampledataaddedtothenetworkinputside,whilethecorrespondingdesiredoutputandnetworkoutputcomparedDedaoerrorsignal,therebyKongzhiquanzhiconnectionstrengthadjustments,JingHouseveraltrainingconvergencetoadeterminetheweights.Whenthesamplesituationchanges,theweightscanbemodifiedbylearningtoadapttothenewenvironment.Usesupervisedlearningbackpropagationneuralnetworkmodelhasthenetwork,andHC.Non-supervisedlearning,thepriorisnotagivenstandardsampleplaceddirectlyintothenetworkenvironment,learningstageandbecomeonesession.Atthispoint,learntoobeythelawofchangeintheevolutionequationofconnectionweights.Non-supervisedlearningthemostsimpleexampleistheHebblearningrule.Competitivelearningruleisamorecomplexexampleofnon-supervisedlearning,whichisbasedontheestablishedclusteringweightadjustment.Self-organizingmap,resonancetheorynetworktoadapttocompetitionlearnaboutallthetypicalmodel.Studyofnonlineardynamicsofneuralnetworks,themainuseofdynamicsystemstheory,nonlinearprogrammingtheoryandstatisticaltheorytoanalyzetheevolutionaryneuralnetworkattractornatureoftheprocessandtoexploretheneuralnetworkofcollaborativebehaviorandcollectivecomputingtounderstandneuralinformationprocessingmechanism.Toinvestigatetheneuralnetworksandfuzzyintheintegrityofinformationintermsofdealingwiththepossibilityofchaostheoryconceptsandmethodscouldbeuseful.Chaosisaverydifficulttopreciselydefinedmathematicalconcept.Generallyspeaking,the"chaos"referstothedynamicsystemdescribedbydeterministicequationsdemonstratedthenon-deterministicbehavior,orcalltodeterminetherandomness."Certainty"becauseitcausesfromwithinandnotoutsidenoiseorinterferencegenerated,and"random"referstotheirregular,unpredictablebehavior,canonlybedescribedusingstatisticalmethods.Themainfeaturesofchaoticdynamicsystemisitsstateofsensitivedependenceoninitialconditions,reflecttheinherentrandomnessofchaos.Chaostheoryisthedescriptionofchaoticbehaviorwiththebasictheoryofnonlineardynamicalsystems,concepts,methods,anditistounderstandthedynamiccomplexityofthesystemfortheirownactionswiththeoutsideworldanditsmaterial,energyandinformationexchangeprocessintheinnerstructured,andnotexternalandaccidentalbehavior,chaoticstateisasteadystate.Steadystatechaoticdynamicalsystems,including:static,steadyvolume,periodicity,quasi-periodandchaoticsolution.Lorenzis6 theoverallstabilityandlocalinstabilityintheresultsofthecombination,calledthestrangeattractor.Astrangeattractorhasthefollowingcharacteristics:(1)strangeattractorisanattractor,butitisneitherfixedpointsnorperiodicsolutions;(2)strangeattractorisindivisible,thatcannotbedividedintotwoandtwoormoreattractors;(3)isverysensitivetoitsinitialvalue,differentinitialvalueswillleadtoverydifferentbehavior.Artificialneuralnetwork-advantagesArtificialneuralnetworkfeaturesandadvantagesmainlyinthreeaspects:First,self-learningfunction.Forexample,inpatternrecognition,onlythefirstofmanydifferentimagesinthemodelandthecorrespondingresultsshouldbeidentifiedinputofartificialneuralnetwork,thenetworkwillbethroughself-learningfunction,andslowlylearntoidentifysimilarimages.Self-learningfunctionfortheforecastsofparticularimportance.Expectedfuturehumanartificialneuralnetworkcomputerwillprovideeconomicforecast,marketforecasting,predictionefficiency,theapplicationofthefutureisverybright.Second,withtheassociationstorage.Artificialneuralnetworkfeedbacknetworkcanachievethisassociation.Third,findtheoptimalsolutionwithhighcapacity.Findtheoptimalsolutionofacomplexproblem,oftenrequiresagreatamountofcomputation,theuseofaproblemforthedesignofafeedbacktypeartificialneuralnetwork,playacomputer'shigh-speedcomputingpower,maysoonfindtheoptimalsolution.Artificialneuralnetwork-researchArtificialNeuralNetworksNeuralnetworkresearchcanbedividedintotheoreticalandappliedresearchontwoareas.Theorycanbedividedintothefollowingcategories:1,usingneuropsychologicalandcognitivescienceofhumanthinkingandintelligencemechanism.2,theneuralbasisoftheoreticalresearch,usingmathematicalmethodstoexploreamorecompletefunctionalperformance,superioroftheneuralnetworkmodel,in-depthstudyandperformanceofnetworkalgorithms,suchas:stability,convergence,faulttolerance,robustness,etc.;Developmentmathematicaltheoryofthenewnetwork,suchas:neuralnetworkdynamics,nonlinearneuralfarms.Appliedresearchcanbedividedintothefollowingcategories:1,neuralnetworksoftwaresimulationandhardwareimplementationofthestudy.2,neuralnetworkapplicationsinallareasofresearch.Theseareasinclude:Patternrecognition,signalprocessing,knowledgeengineering,expertsystem,optimize,robotcontrol.Withtheneuralnetworktheoryandthetheoryitself,thecontinuousdevelopmentofrelevanttechnology,applicationofneuralnetworkswillbemorein-depth.ArtificialNeuralNetworks-ApplicationNeuralnetworksmoreandmoreattentionrecentlybecauseitwassolvedbythecomplexityoftheproblemprovidesarelativelysimpleandeffectiveway.Neuralnetworkscaneasilysolveproblemswithhundredsofparameters(ofcoursetheactualexistenceoftheneuralnetworkorganismsthantheproceduresdescribedheresimulatedneuralnetworksaremuchmorecomplex).Neuralnetworkusedintwoproblems:classificationandregression.Inthestructure,aneuralnetworkcanbedividedintoinputlayer,outputlayerandhiddenlayer(seeFigure1).Eachinputlayernodecorrespondstoaforecastofavariable.Outputlayerofnodescorrespondingtothe6 targetvariablecanhavemorethanone.Intheinputlayerandoutputlayerishiddenlayer(theneuralnetworkisnotvisiblefortheuser),numberoflayersandeachlayerofhiddenlayernodesdeterminesthenumberofneuralnetworkcomplexity.Figure1AneuralnetworkInadditiontotheinputlayernodes,neuralnetwork,eachnodeinfrontofitwithalotofnodes(calledthenodeofinputnodes)connectedtogether,eachconnectioncorrespondstoaweightWxy,thevalueofthisnodeisthenodethroughwhichallinputThevalueoftheweightswiththecorrespondingproductandasafunctionoftheinputandgetouractivitiesinthisfunctioniscalledfunctionorsqueezingfunction.Figure2,theoutputnode4tonode6,thevaluecanbecalculatedasfollows:W14*Node1,thevalueofthe+W24*valueofnode2Neuralnetworkeachnodecanbeexpressedaspredictorvariables(nodes1,2)valueorthevalueoftheportfolio(nodes3-6).Attentiontothevalueofthenode6isnolongeralinearcombinationofnode1,2,becausethedatapassedinthehiddenlayerusingtheactivityfunction.Infact,iftherearenoactivefunction,thenneuralnetworkisequivalenttoalinearregressionfunction,iftheactivityofaparticularfunctionisanonlinearfunction,neuralnetworkthatitisequivalenttologisticregression.Adjusttheweightsofconnectionsbetweennodesisestablished(alsocalledtraining)neuralnetworktodowork.Thefirstandmostbasicmethodofweightadjustmentfeedbacklawiswrong,andnowtherearemorechangesinthenewgradientmethod,Newtonmethod,Levenberg-Marquardtmethod,andgeneticalgorithms.Regardlessofthekindoftrainingmethods,weneedtohavesomeparameterstocontrolthetrainingprocess,suchastrainingtopreventovertrainingandcontrolthepace.Figure2weightedWxytheneuralnetworkDecidedtoneuralnetworktopology(orarchitecture)iscontainedinthehiddenlayerandthenumberofnodesandconnectionsbetweennodes.Todesignaneuralnetworkfromscratch,havetodecidethenumberofhiddenlayersandnodes,activitiesintheformofthefunction,aswellastherighttoredothatlimit,ofcourse,ifusingsophisticatedsoftwaretools,hewillhelpyoudecidethesethings.Inmanytypesofneuralnetworks,themostcommonlyusedtospreadtheformertypeneuralnetwork,whichisaheadofusthekinddepictedintheicon.Peopletalkindetailbelow,inordertofacilitatethediscussionassumesthatonlycontainalayerofhiddennodes.Thattheerrorfeedbacktypetrainingmethodisthechangeinslopeofthesimplifiedmethod,theprocessisasfollows:priortothedisseminationof:datafrominputtooutputoftheprocessisafronttobackofthetransmissionprocess,afterthevalueofanodeconnectedtothenodethroughwhichpassinfrontofcome,thenthevaluesoftheweightsinaccordancewiththesizeofalltheweightedinputeventfunctionandthengetthenewvalue,andfurtherspreadtothenextnode.Feedback:Whentheoutputvalueofthenodeweexpectthevalueofthedifference,thatis,anerroroccurs,theneuralnetworkwould"learn"(learningfrommistakes).Wecanweightbetweennodesconnectedasanodeafterthepreviousnodeonthe"trust"level(ofhisowndowntheoutputofanodeinfrontofhimwhichismorevulnerabletotheimpactofinputnodes).Learningarepunitiveapproach,theprocessisasfollows:Ifanodeoutputerror,thenheseehiserrorbywhich(some)inputnodeoftheimpactcaused,isnothismosttrustednode(thehighestweightofnode)inframinghim(makehimwrong),ifthetrustwillhavetolowerhisvalue(reducingweight),punishthem,whilethosewhomaketherightrecommendationsincreasethe6 trustvalueofnodes.Nodeswhoreceivedpunishment,healsoneedsthesamewaytofurtherpunishitinfrontofthenode.Moveforwardonesteponthewaytospreaduntilthepunishmentuntiltheinputnodes.Focusonthetrainingmustberepeatedforeachrecordthisstep,usingtheformertothespreadoftheoutputvalue,ifanerroroccurs,thenusethefeedbackmethodtolearn.Whenthetrainingsetarecordforeachrunoveragain,peoplesaidthecompletionofatrainingcycle.Tocompletethetrainingofneuralnetworksmaytakemanymonthstrainingperiod,oftenseveralhundred.Aftertrainingbytheneuralnetworktrainingsetisfoundbythemodel,describesthetrainingfocusedonresponsevariablesaffectedbythechangesofpredictorvariables.Asthehiddenlayerneuralnetworksaretoomanyvariableparameters,ifthetrainingtimelongenough,thenneuralnetworktrainingsetispossibletoallthedetailsofinformation"inmind"down,ErnotoverdothedetailtoestablisharegularmodelonlyhasWecallthissituationasovertraining.Obviouslythis"model"fortraininghasahighaccuracyofassembly,andonceleftthetrainingsetappliedtootherdata,itispossibleaccuracydeclinedsharply.Topreventthistrainingoverthesituation,onemustknowwhentostoptraining.Insomesoftwareimplementationsofthesametrainingcourseswilluseatestsettocomputationalneurosciencenetworkinthistestsetthecorrectrate,oncethecorrectrateBuzaishenggaoevenstartedtodecline,itfeelsthattheneuralnetworkhasachievedgoodThestatehastostoptraining.ThecurveinFigure3canbeusedtohelppeopleunderstandwhythetestsettopreventtheemergenceofexcessivetraining.AscanbeseeninFiguretrainingsetandtestseterrorrateincreasedwithtraininginthebeginning,continuetolowertheincreaseofcycle,thetestseterrorratereachedatroughInstead,itbeganShangSheng,peoplethinkitstartedtorisethemomentJiuShishouldstoptrainingthemoment.Neuralnetworktrainingcycleincreasestheaccuracyofthechanges.Neuralnetworksandstatisticalmethods,inessence,therearemanydifferences.NeuralNetworkforalotmorethanthestatisticalmethods.Figure4,thereare13parameters(9and4weightrestrictions).Becausesomanyparameters,throughvariouscombinationsofparameterstoaffecttheoutput,sodifficultthataneuralnetworkmodeltomakevisualinterpretation.Neuralnetworksisinfactasa"blackbox"touse,nottomanage"box"insidewhatissimplyusedontheline.Inmostcases,thisrestrictionisacceptable.Suchasbanksmayneedahandwritingrecognitionsoftware,buthedidnotneedtoknowwhytheselinestogetherisaperson'ssignature,whileasimilarnot.Inmanycomplexproblemssuchashighdegreeofchemicaltesting,robotics,simulationoffinancialmarkets,andlanguageimagerecognition,neuralnetworksandotherfieldshaveachievedverygoodresults.Anotheradvantageofneuralnetworkiseasilyimplementedonparallelcomputers,canhebeassignedtodifferentCPUnodesinparallelcomputing.Whenusingtheneuralnetworkpointstonote:first,theneuralnetworkisdifficulttoexplain,hasyettomakeaclearinterpretationoftheneuralnetworkmethodology.Second,theneuralnetworkwilllearntoo,totraintheneuralnetworkmustbeappropriatetouseaneuralnetworkcanbecriticallyevaluatedthemethods,suchasthepreviouslymentionedmethodsandcross-validationtestsetmethod.Thisismainlyduetoneuralnetworkistooflexible,toomanyvariableparameters,ifgivenenoughtime,healmostcan"remember"anything.Third,unlesstheproblemisverysimpletotrainaneuralnetworkmayneedconsiderabletimetocomplete.Ofcourse,oncetheneuralnetworkwasgood,andtheforecastsdowithit,or6 willsoonberunning.Fourth,theestablishmentofneuralnetworksneedalotofworktododatapreparation.Averymisleadingmythisthatnomatterwhatdataneuralnetworkscanworkwellandmakeaccuratepredictions.Thisisinaccurate,inordertoobtainaccuratemodelsofthedatamustbecarefulcleaning,sorting,transformation,selection,etc.,ofanydataminingisthattheneuralnetworkwithparticularemphasisonthispoint.Suchasneuralnetworksrequirethatallinputvariablesmustbe0-1(or-1-+1)betweentherealnumber,soasthe"area"likethetextdataneedtobedoneonlyafterthenecessaryprocessingforneuralnetworksinput.6 北京理工大学2014届本科生毕业设计（论文）中文译文人工神经网络人工神经网络-基本特征由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络具有四个基本特征：（1）非线性非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。（2）非局限性一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子（3）非常定性人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。（4）非凸性一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。它是涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。人工神经网络是并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷，具有自适应、自组织和实时学习的特点人工神经网络-历史沿革1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1949年，心理学家提出了突触联系强度可变的设想。60年代，人工神经网络的到了进一步发展，更完善的神经网络模型被提出，其中包括感知器和自适应线性元件等。M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知器不能解决高阶谓词问题。他们的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论（ART网）、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。6 北京理工大学2014届本科生毕业设计（论文）1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。1986年进行认知微观结构地研究，提出了并行分布处理的理论。人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。在日本的“真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分。人工神经网络-基本内容人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论等。根据连接的拓扑结构，神经网络模型可以分为：（1）前向网络网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。（2）反馈网络网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。学习是神经网络研究的一个重要内容，它的适应性是通过学习实现的。根据环境的变化，对权值进行调整，改善系统的行为。由Hebb提出的Hebb学习规则为神经网络的学习算法奠定了基础。Hebb规则认为学习过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。有效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。根据学习环境不同，神经网络的学习方式可分为监督学习和非监督学习。在监督学习中，将训练样本的数据加到网络输入端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强度的调整，经多次训练后收敛到一个确定的权值。当样本情况发生变化时，经学习可以修改权值以适应新的环境。使用监督学习的神经网络模型有反传网络、感知器等。非监督学习时，事先不给定标准样本，直接将网络置于环境之中，学习阶段与工作阶段成为一体。此时，学习规律的变化服从连接权值的演变方程。非监督学习最简单的例子是Hebb学习规则。竞争学习规则是一个更复杂的非监督学习的例子，它是根据已建立的聚类进行权值调整。自组织映射、适应谐振理论网络等都是与竞争学习有关的典型模型。6 北京理工大学2014届本科生毕业设计（论文）研究神经网络的非线性动力学性质，主要采用动力学系统理论、非线性规划理论和统计理论，来分析神经网络的演化过程和吸引子的性质，探索神经网络的协同行为和集体计算功能，了解神经信息处理机制。为了探讨神经网络在整体性和模糊性方面处理信息的可能，混沌理论的概念和方法将会发挥作用。混沌是一个相当难以精确定义的数学概念。一般而言，“混沌”是指由确定性方程描述的动力学系统中表现出的非确定性行为，或称之为确定的随机性。“确定性”是因为它由内在的原因而不是外来的噪声或干扰所产生，而“随机性”是指其不规则的、不能预测的行为，只可能用统计的方法描述。混沌动力学系统的主要特征是其状态对初始条件的灵敏依赖性，混沌反映其内在的随机性。混沌理论是指描述具有混沌行为的非线性动力学系统的基本理论、概念、方法，它把动力学系统的复杂行为理解为其自身与其在同外界进行物质、能量和信息交换过程中内在的有结构的行为，而不是外来的和偶然的行为，混沌状态是一种定态。混沌动力学系统的定态包括：静止、平稳量、周期性、准同期性和混沌解。混沌轨线是整体上稳定与局部不稳定相结合的结果，称之为奇异吸引子。一个奇异吸引子有如下一些特征：（1）奇异吸引子是一个吸引子，但它既不是不动点，也不是周期解；（2）奇异吸引子是不可分割的，即不能分为两个以及两个以上的吸引子；（3）它对初始值十分敏感，不同的初始值会导致极不相同的行为。人工神经网络-优越性人工神经网络的特点和优越性，主要表现在三个方面：第一，具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。人工神经网络-研究方向神经网络的研究可以分为理论研究和应用研究两大方面。理论研究可分为以下两类：1、利用神经生理与认知科学研究人类思维以及智能机理。2、利用神经基础理论的研究成果，用数理方法探索功能更加完善、性能更加优越的神经网络模型，深入研究网络算法和性能，如：稳定性、收敛性、容错性、鲁棒性等；开发新的网络数理理论，如：神经网络动力学、非线性神经场等。6 北京理工大学2014届本科生毕业设计（论文）应用研究可分为以下两类：1、神经网络的软件模拟和硬件实现的研究。2、神经网络在各个领域中应用的研究。这些领域主要包括：模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等。随着神经网络理论本身以及相关理论、相关技术的不断发展，神经网络的应用定将更加深入。人工神经网络-应用分析神经网络近来越来越受到人们的关注，因为它为解决大复杂度问题提供了一种相对来说比较有效的简单方法。神经网络可以很容易的解决具有上百个参数的问题（当然实际生物体中存在的神经网络要比我们这里所说的程序模拟的神经网络要复杂的多）。神经网络常用于两类问题：分类和回归。在结构上，可以把一个神经网络划分为输入层、输出层和隐含层（见图1）。输入层的每个节点对应一个个的预测变量。输出层的节点对应目标变量，可有多个。在输入层和输出层之间是隐含层（对神经网络使用者来说不可见），隐含层的层数和每层节点的个数决定了神经网络的复杂度。图1一个神经元网络除了输入层的节点，神经网络的每个节点都与很多它前面的节点（称为此节点的输入节点）连接在一起，每个连接对应一个权重Wxy，此节点的值就是通过它所有输入节点的值与对应连接权重乘积的和作为一个函数的输入而得到，我们把这个函数称为活动函数或挤压函数。如图2中节点4输出到节点6的值可通过如下计算得到：W14*节点1的值+W24*节点2的值。神经网络的每个节点都可表示成预测变量（节点1，2）的值或值的组合（节点3-6）。注意节点6的值已经不再是节点1、2的线性组合，因为数据在隐含层中传递时使用了活动函数。实际上如果没有活动函数的话，神经元网络就等价于一个线性回归函数，如果此活动函数是某种特定的非线性函数，那神经网络又等价于逻辑回归。6 北京理工大学2014届本科生毕业设计（论文）调整节点间连接的权重就是在建立（也称训练）神经网络时要做的工作。最早的也是最基本的权重调整方法是错误回馈法，现在较新的有变化坡度法、类牛顿法、Levenberg-Marquardt法、和遗传算法等。无论采用那种训练方法，都需要有一些参数来控制训练的过程，如防止训练过度和控制训练的速度。图2带权重Wxy的神经元网络决定神经网络拓扑结构（或体系结构）的是隐含层及其所含节点的个数，以及节点之间的连接方式。要从头开始设计一个神经网络，必须要决定隐含层和节点的数目，活动函数的形式，以及对权重做那些限制等，当然如果采用成熟软件工具的话，他会帮你决定这些事情。在诸多类型的神经网络中，最常用的是前向传播式神经网络，也就是我们前面图示中所描绘的那种。人们下面详细讨论一下，为讨论方便假定只含有一层隐含节点。可以认为错误回馈式训练法是变化坡度法的简化，其过程如下：前向传播：数据从输入到输出的过程是一个从前向后的传播过程，后一节点的值通过它前面相连的节点传过来，然后把值按照各个连接权重的大小加权输入活动函数再得到新的值，进一步传播到下一个节点。回馈：当节点的输出值与我们预期的值不同，也就是发生错误时，神经网络就要“学习”（从错误中学习）。我们可以把节点间连接的权重看成后一节点对前一节点的“信任”程度（他自己向下一节点的输出更容易受他前面哪个节点输入的影响）。学习的方法是采用惩罚的方法，过程如下：如果一节点输出发生错误，那么他看他的错误是受哪个（些）输入节点的影响而造成的，是不是他最信任的节点（权重最高的节点）陷害了他（使他出错），如果是则要降低对他的信任值（降低权重），惩罚他们，同时升高那些做出正确建议节点的信任值。对那些收到惩罚的节点来说，他也需要用同样的方法来进一步惩罚它前面的节点。就这样把惩罚一步步向前传播直到输入节点为止。对训练集中的每一条记录都要重复这个步骤，用前向传播得到输出值，如果发生错误，则用回馈法进行学习。当把训练集中的每一条记录都运行过一遍之后，人们称完成一个训练周期。要完成神经网络的训练可能需要很多个训练周期，经常是几百个。训练完成之后得到的神经网络就是在通过训练集发现的模型，描述了训练集中响应变量受预测变量影响的变化规律。由于神经网络隐含层中的可变参数太多，如果训练时间足够长的话，神经网络很可能把训练集的所有细节信息都“记”6 北京理工大学2014届本科生毕业设计（论文）下来，而不是建立一个忽略细节只具有规律性的模型，我们称这种情况为训练过度。显然这种“模型”对训练集会有很高的准确率，而一旦离开训练集应用到其他数据，很可能准确度急剧下降。为了防止这种训练过度的情况，人们必须知道在什么时候要停止训练。在有些软件实现中会在训练的同时用一个测试集来计算神经网络在此测试集上的正确率，一旦这个正确率不再升高甚至开始下降时，那么就认为现在神经网络已经达到做好的状态了可以停止训练。图3中的曲线可以帮人们理解为什么利用测试集能防止训练过度的出现。在图中可以看到训练集和测试集的错误率在一开始都随着训练周期的增加不断降低，而测试集的错误率在达到一个谷底后反而开始上升，人们认为这个开始上升的时刻就是应该停止训练的时刻。图3神经网络在训练周期增加时准确度的变化情况神经元网络和统计方法在本质上有很多差别。神经网络的参数可以比统计方法多很多。由于参数如此之多，参数通过各种各样的组合方式来影响输出结果，以至于很难对一个神经网络表示的模型做出直观的解释。实际上神经网络也正是当作“黑盒”来用的，不用去管“盒子”里面是什么，只管用就行了。在大部分情况下，这种限制条件是可以接受的。比如银行可能需要一个笔迹识别软件，但他没必要知道为什么这些线条组合在一起就是一个人的签名，而另外一个相似的则不是。在很多复杂度很高的问题如化学试验、机器人、金融市场的模拟、和语言图像的识别，等领域神经网络都取得了很好的效果。神经网络的另一个优点是很容易在并行计算机上实现，可以把他的节点分配到不同的CPU上并行计算。6 北京理工大学2014届本科生毕业设计（论文）在使用神经网络时有几点需要注意：第一，神经网络很难解释，目前还没有能对神经网络做出显而易见解释的方法学。第二，神经网络会学习过度，在训练神经网络时一定要恰当的使用一些能严格衡量神经网络的方法，如前面提到的测试集方法和交叉验证法等。这主要是由于神经网络太灵活、可变参数太多，如果给足够的时间，他几乎可以“记住”任何事情。第三，除非问题非常简单，训练一个神经网络可能需要相当可观的时间才能完成。当然，一旦神经网络建立好了，在用它做预测时运行时还是很快得。第四，建立神经网络需要做的数据准备工作量很大。一个很有误导性的神话就是不管用什么数据神经网络都能很好的工作并做出准确的预测。这是不确切的，要想得到准确度高的模型必须认真的进行数据清洗、整理、转换、选择等工作，对任何数据挖掘技术都是这样，神经网络尤其注重这一点。比如神经网络要求所有的输入变量都必须是0-1（或-1--+1）之间的实数，因此像“地区”之类文本数据必须先做必要的处理之后才能用作神经网络的输入。6 北京理工大学2014届本科生毕业设计（论文）致　　谢本次毕业设计是在我的导师扈书亮老师的帮助和悉心指导下完成的。扈书亮老师认真仔细的工作作风为我树立了一个好的榜样，并且带动我自觉的向他学习，不放过一点知识，不疏忽一点错误。从课题的选择到毕业论文的最终完成，扈书亮老师都始终给予我不懈的支持和认真的指导。大学四年多来，扈书亮老师在不仅在实验课、专业课等方面也给予过我很大的帮助，同时还在生活方面给我也给与我很大帮助，在此谨向扈书亮老师致以诚挚的谢意和崇高的敬意！从开始进入课题到论文的顺利完成，有许多人都给与我过帮助，在这里我想对于帮助过我的人同样致以我最大的谢意，感谢你们的鼎力支持。　　对于所有教授过我知识，教授过我人生哲理的各位老师，辅导员，您们使我在大学期间受益匪浅，谢谢您们！愿您们的生活幸福美满！6