《基于神经网络的模拟电路故障诊断方法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
．．？、．＇．＇－．二‘－１０１５２Ｐ３０５单位代码：分类号：Ｔ．Ｉ；０．１３１０１１０００５１３密缓公开学号；８？Ｓ■＇？，．＇＿＇－‘．－．＇．Ｖ、：：夫連玉典乂＃該；據普：＂＾＾顧±学位论文＇片中文题目：基于神经网络的模拟电路故障诊断方法的研究ｓｅａｒｃｌｏＣｉｒｃｕｉｔＦａｕｌｔＤｉａｎｏｓｉｓ英文题目：民ｅｈｏｎＡｎａｇｇ＞ｓａｓｅｄｏｎＮｅｕｍｌＮｅｔｗｏｒｋＭｅｔｈｏｄＢ．－■ｗ，＿．科名称：控制科学与工程／‘学．－二’．：＾：－隶属学院：信息科学与工程祗，研巧生；赵德赞Ｌ—、＇：＇＇＇’．指导教师：邢军：追；－＇，．ｖ／．柄、，Ａ山—枯耗‘一；瓦诚襲成其＿．議；山＾．、ｉ＾＇■、ｆｃ２０１６年４月？Ｖ－ 学位论文独创性声明本人郑重声明：所提交的学位论文是本人在导师的指导下进行的研究＂工作及取得的研巧成果。除文中己经注明引用的内容外，本论文不含其他个人或其他机构已经发表或撰写过的研究成果。对本文的研究作出重要贡献的个人和集体，均己在论文中作了明确的说明并表示了谢意。学生签名：衫據咎论文关题于硕±学位论文使用授权的说明目：气《同聋狄彩路故■啤斬６《挣吓灰本学位论文作者完全了解大连工业大学有关保留、使巧学位论文的规磁定盘，大连工业大学有权保留并向園家有关部口或机构送交论文的复印件和，允许论文被查阅和借阅，可将学位论文的全部或部分内容编入有关位论数文据库进行检索，可レッ苯用影印、缩印或扫描等复制手段保存、汇编学，并且本人电子文档的内容和纸质论文的内容相一致。是保密的学位论文在解密后也遵守此规定。否保密（户７－），保密期至年月日为止。片一学生签名：么德终‘导师签名：年月／？＾曰／ 摘要摘要现代电子线路的规模越来越大，集成度越来越高，拓扑结构越来越复杂。虽然电子线路的精密度在提高、故障率在减少，但是电路故障的发生在所难免，并且相比过去更加难以被检测并诊断出。电子设备中的电路分为数字电路和模拟电路，模拟电路比数字电路更容易发生故障，诊断的难度也由于软故障等原因更加困难。如何使用更加智能的手段快速、准确、有效地对模拟电路进行故障诊断成为实际工程应用的迫切需要。本文针对模拟电路的实时性、软故障的诊断、提高模拟电路故障诊断准确率等问题进行研究。主要的研究工作和成果如下：(1)基于BP(BackPropagation)神经网络的嵌入式系统及其在模拟电路故障诊断中的应用。针对模拟电路故障的实时检测问题，提出使用嵌入式系统实现BP神经网络进行解决的方案；提出模拟电路故障检测的四个假设，对诊断系统的结构和诊断流程做出分析；利用设计的系统，进行模拟电路故障诊断的实验，实验结果表明，基于BP神经网络的嵌入式系统能够有效诊断出模拟电路的故障。(2)基于深度学习理论的神经网络在模拟电路故障诊断中的研究。针对模拟电路软故障的诊断问题，提出使用深度神经网络模型进行诊断的方法并使用深度神经网络的一种栈式神经网络进行了模拟电路故障诊断的实验，验证该方案的准确有效性;提出基于深度学习和电路开源框架的实际应用于工程实践的系统架构，为深度学习理论应用于工程实践提出方法。(3)松散型小波集成神经网络及其模拟电路故障诊断中的研究。基于人类对某一对象的分类，都是对该对象的多个特征提取并进行分类之后综合进行判断的这一现象，结合一维神经网络的理论，提出松散型小波集成神经网络的概念及理论，将该理论应用于模拟电路故障诊断领域中。该方法首先使用小波进行特征的提取，并使用主元分析法(PCA,PrincipalComponentAnalysis)进行降维，然后使用集成神经网络作为分类器进行分类，最后使用决策器进行类别的最终判断。实验结果表明，本文提出的网络结构可对模拟电路的诊断取得了较好的结果。同时，该网络结构也可应用于图像处理等领域。综上，本文以经典BP神经网络理论为基础，引入前沿深度学习理论，结合嵌入式技术、小波分析理论、主元分析理论，提出松散型小波集成神经网络的结构，对解决模拟电路的实时性、软故障诊断、诊断准确率的提高等问题进行了研究。实验验证了基于I 摘要嵌入式的BP神经网络、深度神经网络、松散型小波集成神经网络对模拟电路故障问题的有效性，并提出一套可用于实践的系统解决方案。关键词：模拟电路故障诊断，BP神经网络，深度学习，嵌入式系统II AbstractAbstractWiththedevelopmentofmodernelectronictechnology,electroniccircuitshavemorelargerscale,moreintegrateddegreeandmorecomplextopologies.Althoughtheincreaseofaccuracyanddecreaseoffailurerateofelectroniccircuit,thefailureisinevitableandhasbecomemoredifficulttodetectanddiagnose.Electronicdevicescircuitisdividedintodigitalandanalogcircuits,analogcircuitsaremorepronetofailurethandigitalcircuits,butalsobecauseofthedifficultyofdiagnosisofsoftfailureandotherreasonsmoredifficult.Ithasbecomeanurgentneedofpracticalengineerapplicationhowtousesmartermeanstotakeanalogcircuitfaultdiagnosisfaster,accuratelyandeffectively.Thispaperstudiesontheproblemsofthereal-timeofcircuits,softfaultdiagnosisandimprovingdiagnosisaccuracy,andsoon.Themainresearchworkandachievementsareasfollows:(1)EmbeddedsystembasedonBPneuralnetworkanditsapplicationinfaultdiagnosisofanalogcircuits.Forreal-timeanalogcircuitfaultdetectionproblem,solutionsofuseoftheembeddedsystemtoachieveBPneuralnetworkisproposed.Fourhypothesisoffaultdetectionofanalogcircuitisproposed;Thestructureanddiagnosticprocedureofdiagnosissystemisanalyzed;Anexperimentusingthesystemforanalogcircuitfaultdiagnosisisdone.ExperimentalresultsshowthatBPneuralnetworkbasedonembeddedsystemscandiagnosethefaultofanalogcircuiteffectively.(2)ResearchonFaultDiagnosisofAnalogCircuitsusingneuralnetworkbasedondeeplearningtheory.Foranalogcircuitfaultdiagnosisproblemofsoftbreakdown,methodofusingdeepneuralnetworkisproposedandanexperimentisdoneusingastackedneuralnetworkwhichprovedthatthesolutioniseffective.(3)ResearchonFaultDiagnosisofAnalogCircuitsusingloosewaveletintegrationneuralnetwork.whenamanclassifiesanobject,hemakesacomprehensivejudgmentafterIII Abstractpluralityoffeatureextractionandclassification.Basedonthephenomenonandinaccordancewiththetheoryofone-dimensionalneuralnetwork,theconceptandtheoryofloosewaveletintegrationneuralnetworkisputforward,whichisappliedinthefieldofanalogcircuitfaultdiagnosis.Firstlywaveletisusedforfeatureextractionandprincipalcomponentanalysisisappliedfordimensionreduction.Thenloosewaveletintegrationneuralnetworkisaddedasaclassifiertoclassify.Finally,deciderisusedforfinaljudgingcategories.Experimentalresultsshowthattheproposednetworkarchitectureusedforfaultdiagnosisofanalogcircuitscaneffectivelyimprovetheaccuracyofdiagnosis.Insummary,thispaperstudiesontheproblemofreal-timediagnose,softbreakdownofcircuit,andimprovingaccuracybasedontheclassicaltheoryofBPneuralnetwork,deeplearningtheory,loosewaveletintegrationneuralnetworkcombinedwithothertechniquelikewavelettheory.Experimentsshowthattheeffectivenessofneuralnetworktodiagnoseanalogcircuits.Keywords:analogcircuitfaultdiagnosis,BPneuralnetwork,deeplearning,embeddedsystemIV 目录目录第一章绪论......................................................................................................11.1本课题研究的背景与意义.........................................................................................11.1.1对模拟电路故障诊断问题研究的背景与意义..............................................11.1.2基于神经网络进行模拟电路故障诊断问题研究的背景与意义..................11.2模拟电路故障诊断技术的发展与现状.....................................................................21.3本文的思路及主要研究内容.....................................................................................21.3.1本文的思路......................................................................................................21.3.2本文的主要内容及研究问题..........................................................................31.3.3本文的主要创新点..........................................................................................4第二章人工神经网络及模拟电路故障诊断的理论与技术............................62.1模拟电路故障诊断理论.............................................................................................62.1.1故障建模及类型..............................................................................................62.1.2故障状态的表示..............................................................................................72.1.3故障的符号规定..............................................................................................72.1.4故障状态表及其相关概念..............................................................................82.1.5模拟电路故障诊断的流程..............................................................................82.2神经网络理论...........................................................................................................102.2.1人工神经网络的应用及特点........................................................................102.2.2基本神经元原理............................................................................................132.2.3人工神经元的实现及神经网络....................................................................152.3模拟电路故障诊断问题分析...................................................................................162.3.1故障诊断问题描述........................................................................................162.3.2使用神经网络做分类器的匹配原理............................................................172.4本章总结...................................................................................................................17第三章基于BP神经网络的嵌入式系统及在模拟电路故障诊断中的应用183.1引言...........................................................................................................................183.2用BP算法进行故障诊断的理论及原理分析.........................................................183.2.1使用BP神经网络用于故障诊断的基本流程..............................................183.2.2故障诊断的四个假设....................................................................................183.2.3加入动量项的BP神经网络基本原理..........................................................193.3BP神经网络嵌入式系统的设计...............................................................................213.3.1设计系统的结构框图....................................................................................213.3.2对BP网络芯片的选择..................................................................................223.3.3改进BP算法的选择......................................................................................23V 目录3.3.4离线训练样本的获取....................................................................................233.3.5对BP网络的设计..........................................................................................233.4仿真实验.................................................................................................................243.4.1在线性电路中的应用....................................................................................253.4.2在非线性模拟电路中的应用........................................................................273.5本章总结...................................................................................................................30第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用..314.1引言...........................................................................................................................314.2基于卷积神经网络的深度学习理论.......................................................................324.2.1卷积神经网络理论概述................................................................................324.2.2基于CAFFE与NGSPICE的系统设计............................................................334.3基于稀疏自编码器的深度学习在故障诊断中的理论及原理分析.......................344.3.1稀疏自编码器................................................................................................344.3.2关于SOFTMAX分类器..................................................................................374.3.3栈式自编码神经网络结构及运行算法........................................................384.4基于深度学习网络的实验验证...............................................................................394.4.1实验工具描述................................................................................................394.4.2基于栈式神经网络的实验验证....................................................................394.5本章总结...................................................................................................................44第五章松散型小波集成神经网络及其在模拟电路故障诊断中的应用......465.1引言...........................................................................................................................465.2原理分析...................................................................................................................465.2.1小波变换原理................................................................................................465.2.2主元分析原理................................................................................................485.2.3松散型小波集成神经网络原理....................................................................485.3实验验证...................................................................................................................505.3.1小波变换实验................................................................................................505.3.2主元分析实验................................................................................................515.3.3松散型小波集成神经网络实验....................................................................525.4本章总结...................................................................................................................53第六章总结与展望........................................................................................546.1总结...........................................................................................................................546.2展望...........................................................................................................................54参考文献.........................................................................................................55致谢...........................................................................................................59攻读硕士学位期间承担的科研任务与主要成果...........................................60VI 第一章绪论第一章绪论1.1本课题研究的背景与意义1.1.1对模拟电路故障诊断问题研究的背景与意义现代电子技术飞速发展，电路的规模越来越大，集成度越来越高，导致对电路的故障诊断也越来越复杂。传统的诊断方法的效率及其准确度渐渐不能满足日益增长的诊断需要，集成电路产业迫切需要更加高效、更加准确、更加智能的诊断方法。电子设备中存在数字电路及其模拟电路两种电路，模拟电路相对于数字电路来说容错率更低，出现故障的几率更大。因此，虽然目前电路中数字电路占的比重比模拟电路更大，然而，模拟电路发生故障的比重却比数字电路大得多。并且模拟电路的测试成本比数字电路高的多，诊断更加困难。模拟电路的故障诊断需要更加复杂的算法。对模拟电路的故障诊断一直是困扰着集成电路工业的一个瓶颈问题。自20世纪60年代以来，对模拟电路的故障测试及其故障诊断的研究一直是热门课题，进行模拟电路故障诊断方法研究的非常重要。为实现模拟电路故障测试及故障诊断的智能化，开展模拟电路故障诊断方法的研究是一个具有重要意义的研究课题。1.1.2基于神经网络进行模拟电路故障诊断问题研究的背景与意义由于制作工艺的限制，在运行良好的电子设备中，模拟电路元件(如电阻、电容)的值也并不是一个理想的值，刚出厂的模拟器件也不可能就是要求的理想值，都有一定的容差范围。并且由于器件的使用损耗，其参数值也会在零到无穷大之间变化，即参数值具有连续性。模拟器件参数值的连续性导致了电路状态的无穷性，即不可能将电路所有状态列举出来。使用传统的诊断方法进行模拟电路故障诊断时，计算量巨大甚至以目前的计算机发展水平无法求解。模拟电路中故障诊断信息的获取通常是获取节点电压，而实际的电路中可测节点数有限，可用于故障诊断的条件信息不充足，从而导致故障诊断的误判。因此模拟电路故障诊断的研究进展缓慢。人工神经网络在组成原理和功能特点等方面模仿生物的神经系统，与传统的故障诊[1]断方法相比，不需要建立对象精确的数学模型，具有高度的并行处理、联想记忆、自1 第一章绪论组织、自学习的特点以及强非线性映射能力，非常适用于实际模拟电路故障中存在的模糊性、非线性、状态无穷性等特点，因此在故障诊断方面具有很大的潜在优势和应用前景，在实际应用中受到了越来越广泛的重视。1.2模拟电路故障诊断技术的发展与现状一个理论、学科或者领域的发展，有不同的发展道路。有的呈直线型发展，即发展是平稳的，没有波折。有的则呈现波浪型或者U型，经历了研究的大起大落，比如2.2.1节所讲述的神经网络的发展历史，其研究就是经历了从开始时受人追捧到萧条期再到目前的热门。对模拟电路故障诊断的研究也是有一定曲折的。1962年，科学家R.S.Berkowi[2-3]首次提出模拟电路可解性的概念，揭开了对模拟电路故障研究的序幕。1979年，Navid等人论证了模拟电路可解性的充分条件，为模拟电路故障诊断的研究奠定了理论基础。在20世纪80年代初到90年代末研究进入繁荣期，很多经典的理论被提出，如K故障诊断法及网络撕裂法等，基于字典的检查方法是以后进行模拟电路故障诊断的常用方法[3-12]。这些方法普遍存在计算量较大、诊断速度慢、诊断准确率较低的缺点。90年代后期到21世纪初，由于模拟电路的特殊性，理论研究陷入萧条期。21世纪以来，智能算法如神经网络的引入给模拟电路故障的诊断注入了活力。使用神经网络进行模拟电路的故障诊断不仅可以进行故障诊断表的自动查询，甚至可以推理出训练时没有加入的状态。然而软故障、故障准确率的提高、对大规模电路的诊断等问题仍然没有彻底解决。正是在以上背景下，本文开始了对本课题的研究，力图借助神经网络的方法对大规模模拟电路进行元件级的故障定位。1.3本文的思路及主要研究内容1.3.1本文的思路本文的基本思路如图1.1所示。2 第一章绪论模拟电路故障诊断神经网络经典先进创新BP神经网络深度神经网络松散神经网络理论实践理论实践理论实践实验嵌验入证基基基实式及本本本验系诊原验原原统断理理理证实系现统实现图1.1基本思路图Fig1.1Thebasicmindmap从全文的架构来看，从经典的BP神经网络到现代先进的深度神经网络，最后提出自己的松散型小波集成神经网络。章节的思路上，从理论分析到技术实现的思路，每一章节都分别叙述了相应的神经网络的理论基础，并给出实验证明，最后使用硬件或者软件的形式进行系统的实现。总之，本文坚持理论与实践相结合，坚持经典与先进相结合，坚持了创新。三种不同的理论和技术针对三个不同的问题进行解决。BP神经网络技术主要针对故障诊断的实时性进行研究，力图解决故障诊断的实时性问题，主要对故障中的硬故障问题进行研究，深度神经网络理论和技术则主要对故障的软故障诊断正确率的提高问题进行研究，松散型小波集成神经网络理论和技术主要是用于增加软故障诊断的状态。1.3.2本文的主要内容及研究问题本论文的研究内容主要包括两个方面：理论研究和系统设计。理论研究包括如何实现对现有神经网络结构的优化和神经网络的重新架构、现有神经网络算法的改进和新的3 第一章绪论神经网络算法的提出。系统设计方面研究实现两个系统，即硬件系统和软件系统。研究如何实现基于嵌入式系统的以BP神经网络为核心技术的BP故障诊断系统，以及基于PC机的以深度信任网络为核心技术的深度故障诊断系统。其中系统设计是本文的核心研究。章节安排上，第一章主要给出课题的意义、发展和现状，第二章介绍全文的基本概念、统一的符号表示，并对模拟电路故障的基本问题进行了讨论。第三章介绍BP网络用于故障诊断的理论、实验及系统实现，第四章介绍深度网络用于故障诊断的理论、实验及系统实现，第五章给出了松散型小波集成神经网络用于故障诊断的理论及实验，最后第六章进行了总结和展望。1.3.3本文的主要创新点本论文的创新之处主要有三点，一是使用嵌入式系统实现改进的BP神经网络用于模拟电路故障诊断，二是将深度学习理论应用于模拟电路故障诊断领域并进行系统实现，三是松散型小波集成神经网络概念的提出。(1)BP网络的应用已经很多年了，目前实现BP神经网络用于故障检测有两种方式，一种是在PC机上进行软件检测，另一种是使用嵌入式系统进行实现。软件检测缺少检测的实时性，不适合应用于实时性要求高的场合中，因此本文采用基于嵌入式系统的方案进行实现。目前大部分的基于模拟电路的故障诊断都是基于软件模拟的PC机实现，使用硬件实现的很少，本次研究使用嵌入式技术进行实现，解决了模拟电路故障诊断的实时问题，为该技术在故障诊断领域的实际应用提供了一种思路，具有一定的创新性。(2)使用先进的深度学习(DL,DeepLearning)理论及技术进行模拟电路故障诊断。DL技术是一门较新的技术，目前DL的主流应用领域为图像识别、语音识别和文本分类，并取得了巨大的成功。然而在模拟电路故障诊断中的应用几乎没有。本次尝试应用该技术实现故障诊断也具有一定的创新性。实验表明，可以将基于深度学习理论的神经网络作为通用的模拟电路故障诊断系统而不必加入其它辅助的结构和算法，对于大规模电路的软故障等问题能够较好地解决，并能大幅度提高诊断的正确率。(3)松散型小波集成神经网络概念及其在在模拟电路诊断中的应用。本概念受到人对物体特征提取的启发，得到特征分类的基本原理，并结合主元分析、小波变换提出松散型小波集成神经网络的概念。小波变换可以对数据特征进行多层次多尺度的抽取，这4 第一章绪论样就可以得到物体不同的特征。然而经过小波变换得到的数据量太大不容易处理，通过主元分析的降维处理就可以大大缩小计算量。隐藏层的增加是神经网络规模横向的扩展，本文将神经网络纵向扩展，即将一维平面的神经网络扩展为松散型小波集成的神经网络。并成功将该理论应用于模拟电路故障的诊断中。5 第二章人工神经网络及模拟电路故障诊断的理论与技术第二章人工神经网络及模拟电路故障诊断的理论与技术2.1模拟电路故障诊断理论2.1.1故障建模及类型故障诊断包括两个步骤，首先要将故障检测出来，即发现故障的存在或称故障检测，然后根据掌握的数据确定发生故障的具体位置，称为故障的辨识。其中，故障辨识是本文的主要工作。对一个对象按照不同的分类标准可以有不同的分类类型，模拟电路故障的按照不同的分类标准可以有如下分类类型。(1)从故障的性质上分为硬故障和软故障。硬故障是指电路中元件参数值突变为零或者无穷大两种情况，即硬故障包括短路和断路两种情况。短路可以在短路器件的两端并联一个阻值很小的电阻来模拟，通常取0.001欧姆即可。断路可以在断路的器件串联一个阻值很大的电阻来模拟，通常取1000兆欧。事实上，仿真时断路的情况可以直接把元器件去除，短路的情况直接在元器件两端加一根导线即可。软故障是指电路元件的参数值随着时间或者环境条件的改变而发生偏移而超出了该器件参数值的容差范围。一般来说，软故障未使电路完全失效，但会导致整个系统性能的异常。在电路发生软故障时，可能的状态是无穷的，这也是造成模拟电路故障诊断困难的原因之一。电路网络中元件发生硬故障时，已经改变了整个电路网络的拓扑结构，经常导致统性能严重恶化以致整个系统完全瘫痪。而软故障一般仅引起系统性能的异常，不是太容易发现，因此相比于硬故障的发现更困难一些。事实上，可以将硬故障可以看作是软故障的一个特例，将诊断软故障的方法应用于硬故障情况之中。本论文中，在第三章中将硬故障作为研究情况，而在第四章和第五章中将软故障作为研究情况。(2)按电路中存在的故障的数量分为单故障和多故障。单故障指电路中仅有一个元器件发生故障的情况，而多故障指电路中同时有多个(两个或两个以上)元器件发生故障的情况。在实际应用中，电路单个元器件发生故障时产生的异常往往能被察觉，因此在本文6 第二章人工神经网络及模拟电路故障诊断的理论与技术中，采用单故障作为实验的研究情况。2.1.2故障状态的表示故障状态的表示有十进制表示法和二进制表示法两种模式。十进制数表示法指用0代表正常状态，1代表第一种故障状态，2代表第二种故障状态，依次类推。二进制表示法是指用0和1组成的二进制数组合表示故障的状态，主要有两种：n中取1表示法和正常编码表示法。n中取1表示法是指n个0码组成的状态码中取一个变为1作为某种状态的表示。例如，100代表正常状态，010代表第一种故障状态，001代表第二种故障状态。对于有n位的故障诊断，能表示电路的n种状态。n中取1法的优点是容错性好。正常编码表示法指用正常的编码表示的方法。例如用000表示正常状态，001表示第一种故障状态，010表示第二种故障状态，011表示第三种故障状态，依次类推。对于有n位的二进制数，可以表示2^n-1种故障情况。由于n中取1法容错性能好的优点，本文采用该方法作为故障状态的表示策略。将对电路灵敏度高的元件放在某个码位，用0和1分别代表有故障状态和无故障状态，能够有效地利用码位。2.1.3故障的符号规定2.1.1节中提到，模拟电路的故障按故障的性质分类为硬故障和软故障两种，硬故障是单纯指电路元器件的短路和断路，软故障是指电路器件的参数值不在使电路正常工作的容许元器件的误差范围，即不在容差范围之内。(1)硬故障的符号表示。用OC(opencircuit)表示元器件开路，用SC(shortcircuit)表示元器件短路。(2)软故障的符号表示。向下的箭头↓表示元件物理值在容差以下，向上的箭头↑表示元件物理值在容差以上。由于软故障是指元件参数超出正常范围，而元件值是一个连续的无穷量，因此，对于软故障来说进行分类是很困难的事情。本文选取超过容差某个范围内的软故障进行实验。设实验电路，实验电阻的阻值为10K，容差为10%，本文只考虑电阻超出容差，但在50%内变化的软故障模式。即在[9K,11K]时，是在正常容差范围内，为正常模式。在[5k,9k]时发生了小于正常值的软故障，记为↓，在[11k,15k]时发生7 第二章人工神经网络及模拟电路故障诊断的理论与技术大于正常值的软故障，记为↑。2.1.4故障状态表及其相关概念故障状态表又称故障字典，是对电路中所有的故障状态进行编码后得出的表格形式表示。本文采用n中取1编码法进行字典的编码。在模拟电路故障诊断的实践中，对于最优激励信号与测量结点的选择通常采用灵敏度分析法进行。电路灵敏度的大小是电路元器件对电路性能的反映。灵敏度值大的元件对电路性能的影响越大。本文将灵敏值大的元器件作为研究对象，故障诊断字典的故障源的选择也是基于灵敏度分析。灵敏度分析是进行模拟电路故障诊断的第一步。本文采用蒙特卡洛方法进行模拟电路软故障各种情况数据获取的方法。在电子线路中应用蒙特卡洛分析法是一种统计分析方法。首先根据各个元件根据统计规律进行随机得到一组随机数，然后根据这些随机数对电路分别进行电路分析(直流分析、交流分析、瞬态分析等)，最后根据多次的电路分析得到电路的性能规律。灵敏度分析及其蒙特卡洛分析都可以通过仿真软件如PSPICE软件的操作进行直接分析。2.1.5模拟电路故障诊断的流程对于硬故障来说，通常提取关键测量点的电压即可。而对于软故障，则需从待测电路响应的波形曲线进行采样得到实验样本数据空间，然后对数据进行预处理，提取有效的故障特征，从这些特征数据中可以分析出电路故障的类型、位置等信息。故障诊断的信息流程如图2.1所示。实验电路实验数据特征数据故障信息实验方法数据预处理分类器灵敏度分析蒙特卡洛参数分析小波变换PCA分析深度学习神经网络支持向量机逻辑回归图2.1故障诊断信息流程图Fig2.1flowchartoffaultdiagnosis如图2.1所示，使用神经网络进行模拟电路故障诊断的步骤分为如下几步：8 第二章人工神经网络及模拟电路故障诊断的理论与技术(1)实验数据即样本集的产生首先进行故障状态表的建立。使用PSPICE软件对实验的电路进行灵敏度分析，确定对电路性能影响最大的元器件。然后确定故障状态，进行故障的编码，使用PSPICE软件模拟出实验电路各个状态的测试理论值。由于电路支路电流不易测量，因此一般通过测量电压来进行模拟电路的故障诊断。使用PSPICE软件对各个电路状态进行蒙特卡洛分析，产生需要的数据集样本。将数据集分为训练数据集和训练数据集。为减少训练数据和测试数据的相关性，将收集到的数据随机地分成两部分，本文将三分之二的数据作为训练数据，另外三分之一的数据作为测试数据。(2)特征数据的提取特征数据的提取有时首先进行样本数据的预处理。为了加快网络的收敛，减少网络的规模，提高诊断正确率，对数据进行预处理是许多数据处理中必要的一步。常见的预处理方法有归一化，小波包处理等。数据的预处理应该对数据进行归一化。把数据值控制在小范围内，有利于加快训练算法的收敛和识别准确率的提高。而使用主元分析等处理能够有效降低网络的规模。电路故障诊断的难点是如何有效地进行提取模拟电路故障特征。特征提取可采用人工提取的方式进行。比如本文第一个实验采用多个点的方式进行。但是手工选取费时费力，提取好的数据靠经验、运气和时间。复杂的事物由简单的结构组成，复杂的图形由基本的结构组成。复杂的声音也由一些基本的结构组成。比如原子组成分子，分子组成细胞，细胞组成器官，器官构成不同种类的生物。对图形来说最基本的是像素，像素构成边缘，边缘构成不同部件，不同部件又构成不同的图像。一篇文档中，字构成词，词构成句子，不同句子组合成段落，不同段落的组合成文章。提取特征的形式可以从浅入深层次性提取，比如从器官上来分别是人还是动物，从人脸特征上来区别是哪个人。基于深度学习的理论可以对信息逐层抽取特征，类似生物大脑的处理方式。可以根据一些特征的组合定义一个物体。目前常见的主要的特征提取方法还有基于主元分析的特征提取和基于小波变换的特征提取等，此外还有基于故障信息量、基于模糊理论、基于粗糙集理论的特征提取等。本文主要通过稀疏自编码器及其小波变换进行故障的特征提取。9 第二章人工神经网络及模拟电路故障诊断的理论与技术(3)分类器的训练和测试分类是模拟电路故障诊断的实质。对故障进行分类需要进行分类器的设计，分类器的选择有多种，可以使用神经网络、支持向量机或者逻辑回归等，以神经网络作为分类器为例，根据实验电路、故障状态表、样本数量等因素设计网络的结构，具体设计技巧参照3.3.5节；然后将第三步提取出来的特征训练数据送入分类器进行反复迭代训练使收敛误差在某个阈值范围之内时停止；最后使用测试数据对分类器进行测试，检验系统故障诊断的有效性。本文使用的分类器主要有SOFTMAX分类器及其神经网络分类器。2.2神经网络理论2.2.1人工神经网络的应用及特点人工神经网络是一种具有复杂模式的机器，能够解决一些传统方法无法解决的困难问题。神经网络经过了曲折的发展历史。神经网络起源于40年代心理学家Mcculloch和精神病解剖学家和数学天才Pitts的开创性工作，二人提出的M-P模型拉开了神经网[13]络研究的序幕。1949年，生理学家Hebb鲜明地阐述了神经元连接权值的Hebb调整规则，引入了著名的学习假说，即两个神经元之间的重复激活将使其连接权值得到加强[14]。1957年，Rosenblatt提出了感知器的概念，在他有关感知器的研究中提出了解决模[15]式识别问题的监督学习方法，名为“感知器收敛定理”的理论获得了巨大的成功。[16]Widrow和Hoff引入最小均方准则。在整个20世纪60年代，感知器是如此流行，以至于人们认为它可以完成任何事。人们甚至认为只要将感知器互联成网络，就可以模拟人的思维。盲目的乐观情绪没有持续太久，1969年，Minsky和Papert从数学上证明了单层感知器存在的致命局限性，指出感知器的处理能力有限，甚至无法解决像异或这样简单的非线性问题，而在多层感知器的讨论中，作者认为单层感知器所具有的局限性在多层感知器中无法被完全克服。神经网络的研究从此进入了萧条期。[17]1982年，Hopfield用能量函数的思想提出了一种新的计算方法。1984年他使用电子线路实现了他提出的神经网络，指出神经元可以用运算放大器实现。他用电子线路构成的网络成功解决了旅行商(TSP)问题，成为神经网络发展历史上的里程碑。1986年，Mcclelland和Romelhart提出了误差反向传播算法(ErrorBackPropagation10 第二章人工神经网络及模拟电路故障诊断的理论与技术Algorithm)，即历史上经典的BP算法。由于使用该算法的网络具有结构简单、鲁棒性强、易于硬件实现、工作状态稳定等优点，使得该网络已被广泛应用于模式识别、故障诊断、图像处理、函数拟合、系统仿真、预测等领域，BP神经网络是目前使用最广泛最具有代表性的人工神经网络。然而BP网络本质上仍然是一种浅层网络结构。在2006年之前，尝试训练更多层的网络架构都失败了，训练一个三层以上隐层神经网络的训练及测试效果不及1个或者2[18-20]个隐层的网络结构。然而，2006年发表的3篇论文改变了这种状况。由Hinton提出的深度信念网(DeepBeliefNetworks,DBNs)的概念，引入了深度学习的理论体系，该体系为以后的深度理论的研究提供了框架。深度学习是机器学习研究中的一个新的分支，属于人工神经网络的范畴，是人工神经网络研究的前沿。深度学习理论的动机在于建立能够模拟人的大脑进行分析学习的复杂神经网络，模拟人脑的机制来分析解释数据(如图像，声音和文本等)，进而解决复杂的问题。自深度学习理论被提出以来，其理论和应用方面取得了巨大的进展。谷歌和微软研究院的语音识别方向的研究专家先后将神经网络技术将语音识别的错误率降低20%~30%，这是长期以来语音识别研究领域取得的重大突破。在图像识别领域，深度学习理论也取得了瞩目的成就。原谷歌首席科学家AndrewNG带领的科学团队在谷歌神秘的X实验室使用16000个处理器构建了超大规模的深度神经网络，试图模拟人类右脑的功能。该团队随机地将youtube上大量的视频片段让该超级神经网络“看”，最后该人工大脑在没有人指导的情况下学会了猫的概念。这个案例是深度学习理论非常著名的事件，在深度学习的发展史上也有重要意义。该事件激起了科学家对深度学习理论研究的兴趣，极大促进了深度学习理论的传播，并使深度学习理论的深入人心。当然还有其他事件，比如2012年的公开的IMAGENET测试中使测试的正确率比以往最高的正确率提高了9%。另外，最新的新闻是2016年AlphaGo战胜围棋冠军李世石的算法也是采用的深度学习理论。目前关于神经网络的研究蓬勃发展，技术应用主要有模式分类、聚类、回归与拟合、优化计算、数据压缩等领域，并在航空航天、电子、金融、制造业等行业发挥了重要作用，应用前景十分广阔。然而对于模拟电路故障，深度学习理论并没有应用到该领域，大部分的应用是对语音、图像和文本的处理。在对以上三个领域的应用，本质上是利用了深信网络的分类功11 第二章人工神经网络及模拟电路故障诊断的理论与技术能。因为对故障电路进行诊断的本质也是对故障模式进行分类，深度学习理论在该领域的研究具有了应用的可行性。本次研究将首次尝试将深度学习理论应用于模拟电路故障诊断领域，提高故障诊断率，提高自动识别和推理的能力。神经网络理论及其技术已经在当今许多行业和领域得到了实际应用，经常作为分类器、预测器，函数拟合器进行使用，在图像处理、语音识别、文本处理等方面也受到越来越多的重视。人工神经网络之所以如此受到人们的关注，主要是因为它自身的一些极其优秀的特点。(1)强大的学习能力。神经网络具有智能的重要表现之一是其具有的学习能力，即通过对神经网络进行训练的方式抽象出来训练样本的主要特征，进而在测试环节表现出[21]学习的效果，表现出强大的自学习自适应能力。(2)联想和记忆功能。神经网络具有对输入或称外界刺激信息进行联想记忆的能力，这是因为其对信息分布存储以及并行计算的特征。联想和记忆能力使神经网络在模式识别、图像压缩、图像复原以及信息分类等领域具有巨大的潜在应用价值。(3)非线性映射。设有一数据集，包括输入数据集及其对应的输出数据集，对该数据集进行建模的过程就是映射。通常该映射的结果是非线性的，因此是非线性映射的数学建模。探求从输入空间到输出空间之间的非线性映射关系模型，一直是工程界普遍面临的一个问题。神经网络通过迭代的过程最优化目标函数，不断调整自身的参数来拟合数据，最终使得当输入数据经过该系统得到的实际输出与理论的输出相差很小的目的。因此，神经网络可以地对非线性关系的数据集进行数学建模。对于模拟电路故障诊断问题而言，故障的数据通常也是非线性的，因此神经网络可以很好地故障进行建模处理，最终得到很好的诊断效果。(4)分类和识别。神经网络在实际应用中可以作为分类器来使用，对输入的样本数据具有很强的分类辨识能力。设有一组有标签数据集，将该数据集根据输入和输出在n维的坐标系系统中标绘出来，对该数据集通过区域分割的方式，画出一个符合分类要求的非线性的曲线或者曲面，就是对该系统数据集的分类建模的几何意义。已经证明BP神经网络可以逼近任意的函数，包括曲线函数和曲面函数，只要有足够的数据进行训练，网络就可以拟合该函数，从而当测试数据输入时达到分类的效果。神经网络作为分类器可以较理想地解决对非线性曲面函数的逼近问题，有较好的分类和识别能力。12 第二章人工神经网络及模拟电路故障诊断的理论与技术(5)知识处理。神经网络对从一个系统获取的输入和输出数据集进行拟合的结果以权值的形式表示，这些权值就是对该系统的知识表征。可以通过将神经网络的输入端和输出端进行连接进行无监督的学习，也可以输入端和输出端分开进行有监督的学习训练。训练的过程就是处理知识的过程。正因为上述优点，神经网络的理论及其应用研究受到越来越大的重视。预计不久的未来，神经网络理论会在新一代计算机神经元计算机中大展手脚。2.2.2基本神经元原理人工神经元是模仿真实的神经元而设计的。人类大脑自身就是一个非常好的模式识别系统，存在约860亿个神经元，处理速度非常快。例如当人眼中出现一张熟悉的人脸时，只需数百毫秒的时间就能将其识别出。然而如果要现在的计算机，则需要很长的时间才能将其识别出来。真实的神经元是由细胞体和细胞突起构成的长突起的细胞。突触是细胞演化出来的突起部分，按照功能和形态的不同分为轴突和树突两种。如图所示，轴突是神经元细胞体突出的轴状突起，所以叫轴突，一个神经元细胞仅有一个轴。而树突是神经元突起的如同树枝一样的突起，所以叫做树突。一个神经元细胞可以有多个突起。神经冲动在神经元之间的信息传递过程如图2.2所示。电脉冲输树形成突输细胞体轴突入突触出信息处理传输图12.2生物神经元功能模型图2.2神经网络的信息传递Fig.2.2InformationTransmitofNeuralNetwork神经元的对信息进行传递及其处理的本质是一种电化学活动。树突接受外界的刺激并通过胞体内的电化学作用表现为轴突产生电位，当轴突电位达到一定的值则会形成神经冲动，神经冲动经过细胞体的处理后再由轴突末梢传递给其它的神经元。从信号与系统的角度来看，这是一个多输入单输出的非线性系统的信号处理过程。一个创新的机器学习理论的提出包括硬软两方面理论的提出。硬理论的提出是指提出有实体的硬件，包括网络图，是静止的、具体的、可视的，软理论是指硬件的运行过13 第二章人工神经网络及模拟电路故障诊断的理论与技术程，包括算法描述，是算法、程序、方法步骤、信息处理过程等，是运动的、数学的、抽样的。硬理论和软理论是相互依存相互结合的。一个研究人员可以在另一个人提出模型的基础上进行算法的改进，这是软理论的修正。基于仿生的新理论都是将生物的物理结构抽象为线和圈连接表示的网络结构，将信息的运动过程抽象为值的数学处理过程。将神经元的物理结构进行数学抽象为线圈表示的信息与系统学科的网络结构，将神经元对信息的处理过程抽象为算法。对生物神经元的结构及其信息传递过程进行数学抽象如图2.3所示。x111x22ihw,bxxinxn图2.3神经元基本模型Fig.2.3BasicModelofneuron其中xx1,..xn为输入向量，y为输出，i是权系数，hxwb,表示该信息系统的系统函数。输入与输出具有如下关系：nyfiixb(2.1)i1其中，b为阈值，表示超过该值则神经元处于激活状态，小于该值则神经元处于抑制状态。fx是激活函数，它可以是线性函数，也可以是非线性函数，包括阈值函数、分段函数和sigmoid函数。(1)阈值函数的表示式为1,0(2.2),0这种函数在工程中一般称为Heaviside函数。(2)分段线性函数的表达式为14 第二章人工神经网络及模拟电路故障诊断的理论与技术1,0.5,0.50.5(2.3)0,0.5(3)神经网络中常用的函数是sigmoid函数，是严格的递增函数，具有可微性。在线性和非线性行为之间显现出较好的平衡。其中常用的一个函数式logistic函数，定义为1()v(2.4)1exp(av)其中a是sigmoid函数的倾斜参数，改变参数a就可以改变倾斜程度。使a=1，则logistic函数变为sigmoid函数。这样，基本神经元这一小型信息处理系统包括五大参数：输入向量、权值向量、输出向量、激活函数、阈值。根据不同的算法处理方式改变权值。所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。将神经元根据不同的组合方式可以组成不同的神经网络结构，人们希望将更大量的神经网络连接成更复杂的网络来完全模拟人类大脑。笔者认为，人类大脑的功能实现不一定要完全使用神经网络。在人类历史上先进飞行器的实现并不是模拟鸟类的飞行，而是在研究各种动力学原理的基础上完成的。我们只有了解人类大脑联想记忆、灵感、逻辑等基本心理学原理的基础上，了解人类大脑的运行原理及生理学结构，结合其他的技术原理才能够对人类大脑进行完全的功能仿造。或许其他比较科幻的问题，如人类大脑意识转移到机器等问题也会迎刃而解。2.2.3人工神经元的实现及神经网络对神经元的实现分为硬件实现和软件实现。硬件的实现方法有数字电路、模拟电路和数模混合电路。软件实现主要是在PC机上进行程序实现。其中硬件的实现速度快，而软件的实现则比较灵活、容易实现，算法验证简单。本文第三章是在嵌入式硬件系统中进行软件实现，是软硬结合的实现方式。第五章、第六章则是主要是软件的实现方式。将神经元按照一定的规则连接成网络叫做神经网络，神经网络按照一定的算法进行训练和学习，对信息或者知识的处理过程表现在权值的动态变化，而最终的处理结果则由权值表示。目前神经网络的类型达到200多种，比较常见的有BP神经网络、概率神15 第二章人工神经网络及模拟电路故障诊断的理论与技术经网络、自组织神经网络、SOM网络、栈式神经网络等。即使目前先进的深度学习网络体系也只是实现了大脑的部分功能，只能解决部分问题，并不是通用的强人工智能。要想完全模拟一个人类大脑，或许需要各种不同的理论和技术叠加到一起。下面的章节分别介绍了三种神经网络及其在模拟电路故障诊断中的应用，在第三章中将介绍经典的BP神经网络及其在模拟电路故障诊断中的应用，第四章中将介绍基于深度学习理论的栈式神经网络及其在模拟电路中的应用，第五章中将介绍松散型小波集成神经网络及其在模拟电路故障诊断中的应用。2.3模拟电路故障诊断问题分析2.3.1故障诊断问题描述假想这一场景，一架机器的电路坏了，故障诊断专家提着工具箱去修理。该专家只是拿出诊断手持设备，将手持设备连接到测量点即在屏幕上显示故障位置。当然，该专家也可提着装有诊断软件的电脑去，通过万用表或者其他信号显示器获取信息，将信息输入到电脑软件中。很明显，第一种方案即通过手持设备直接获取数据并进行处理和显示的方式可以更快地对故障进行诊断。手持设备的实现通过嵌入式技术进行实现，因此本文第三章采用了基于嵌入式系统的方式进行系统的实现方案。当然，该章节只是对硬故障进行诊断，而对于软故障，需要更多的参数则可采用通用计算机加外接设备的方式，如本文第四章、第五章节的内容。未来可以通过设计中转设备的方式实现通用计算机对被诊断电路信息的实时获取。软故障问题实际上已经被解决，通用的小波包变换技术对一般规模的电路可以达到90%以上的正确率。但是本文追求的是更高的正确诊断率，这和当前语音识别已经比较准确研究人员仍然在用深度神经网络对其识别率进行提高的原因一样。在第4章节进行的实验通过两层的深度网络已经达到了96%以上的诊断率，预计更深层的网络及其更优化的参数调节可以识别更多的故障状态及达到更高的准确率。由于笔者的电脑配置有限，无法进行更深层的网络的研究，在此表示遗憾。第4章节的意义在于实验验证了深度神经网络用于故障诊断并提高故障诊断的可行性。对于第5章节所谓的松散型小波集成神经网络，也只是小波变换进行故障诊断的一种变种，是神经网络等技术的集成，在此进行说明。16 第三章基于BP神经网络的嵌入式系统及在模拟电路故障诊断中的应用2.3.2使用神经网络做分类器的匹配原理对模拟电路的故障诊断，对简单的故障诊断，如第三章的硬故障诊断，只需要提取测量点的几组电压即可，数据量比较小，而对于软故障诊断，如第四章要研究的三阶滤波器的软故障诊断，则需要根据输出点的波形判断故障情况。在模拟电路发生故障的时候幅频特性和相频特性会发生明显的变化。通过波形进行的故障诊断本质上是对波形数据的分类，这和语音识别领域的波形分类原理相同。模拟波形的判断使用波形数据抽取的方式进行，那么数据量就会比较大。在本文中，主要使用神经网络作为分类器。其他如稀疏自编码器、小波分析等都作为数据变换的工具。模拟电路形式多种多样，输出波形的特点也各异。神经网络具有“黑箱”特性，即通过一组训练集的训练就可以对测试集进行测试。本文使用神经网络做模拟电路故障分类的分类器基于两个假设：假设1：数据的一致性。数据本身只是一堆有规律的数字的组合，与数据的类型无关。如数字图像可以转化为波形。本假设是第4章使用深度学习进行故障诊断的基本依据。假设2：神经网络的通用性。只要网络的参数规模足够大，则人工神经网络在误差允许的范围内可以拟合任意有意义的数据集。即神经网络可以作为通用分类器使用。对于假设1，第三章中要介绍的对硬故障的训练数据，只是几组电压的集合，这和通用数据集鸢尾花或者其他数据集并没有什么本质的区别，因此可以使用神经网络进行分类。而第四章中研究的深度神经网络最初在图像处理方面获得成功，对于模拟电路故障的波形抽样数据，通过第四章节的实验，也可以取得成功，说明了波形数据和图像数据具有一定的一致性。事实上，第五章研究的松散型小波集成神经网络结构，也是最初在笔者在人脸表情分析的基础上实验得到。对于假设2，神经网络在多领域的成功应用也证明了其通用性。第四章节的深度学习网络只是另一个深度学习网络一个应用的较新领域。2.4本章总结介绍了模拟电路故障诊断的基本理论，是对现有模拟电路故障诊断理论的总结，并提出了自己的观点；介绍了神经网络的基本理论，对其特点、基本数学原理及其实现策略进行了介绍；对模拟电路故障诊断的特点及其神经网络方法的匹配问题进行了描述。17 第三章基于BP神经网络的嵌入式系统及在模拟电路故障诊断中的应用第三章基于BP神经网络的嵌入式系统及在模拟电路故障诊断中的应用3.1引言[22-23]BP神经网络是目前应用最广泛的神经网络结构之一，具有理论成熟、易硬件实现等特点。目前实现BP神经网络用于故障检测有两种方式，一种是在PC机上进行[24]软件检测，另一种是使用嵌入式系统进行硬件实现。软件检测缺少检测的实时性，不适用于实时性要求高的场合，因此本文采用基于嵌入式系统的方案进行实现。BP神经网络作为模拟电路故障诊断存在输入数据多，网络规模大，训练时间长，[25-26]易陷入局部最优的缺点，限制了该神经网络在模拟电路故障诊断中的应用。为了解[27-29]决这些缺点，很多用于模拟电路故障诊断的改进BP算法被提出。文献[30-31]提出了采用小波分析技术进行数据的预处理，大幅度减少网络规模，提高收敛速度和故障检[32]测准确率。在众多的算法中，加入动量项的BP算法比传统的BP算法具有收敛速度快，不容易陷入局部最优且容易硬件实现的特点，因此本文采用加入动量项的改进BP算法进行训练的方案，构建了基于嵌入式的BP神经网络故障诊断系统。[33]故障诊断问题的实质是分类问题，而BP网络可以有效解决分类问题，这是BP网络可以用于模拟电路故障诊断的基本依据。3.2用BP算法进行故障诊断的理论及原理分析3.2.1使用BP神经网络用于故障诊断的基本流程使用BP神经网络进行故障诊断，首先建立故障字典，将此故障字典让BP神经网络记忆，然后根据神经网络的模糊性和记忆性，对电路的各种状态进行记忆和推理，即当输入新的状态参量时推理出电路此时的状态。3.2.2故障诊断的四个假设本章进行模拟电路故障诊断基于四个假设：(1)发生故障的都是元器件，线路不发生故障。即电路的故障状态由元器件决定。18 第三章基于BP神经网络的嵌入式系统及在模拟电路故障诊断中的应用(2)元器件发生的故障为硬故障，即元器件的状态分为短路、断路、正常三种状态。(3)模拟电路发生的故障为单故障即只有一个元器件发生故障。(4)一个元器件占据一条支路。3.2.3加入动量项的BP神经网络基本原理BP神经网络的基本结构如图3.1所示。误差反向传播zxV1Wy11zixyiiznxnyn输入层隐含层输出层信息正向传播图3.1BP神经网络结构图Fig3.1Resultsofsingle-factorexperiment常见的BP神经网络共三层：输入层、隐含层及输出层。其中输入层没有信息处理功能，即输入层没有神经元，仅供信息的输入。隐含层和输出层具有数据处理功能，能够对对输入的数据进行相应的变换处理。通常情况下，一层隐藏层的已经足够使用，二层的隐藏层的使用可以降低网络的规模。隐含层的数量可以通过多次实验来得到，也可以通过经验公式计算得到。输入层及其输出层的数量则比较固定，取决于输入向量及其输出向量的维度。在使用BP网络进行分类等数据的处理时，通常要对数据进行降维的处理等操作，常用的有主元分析、小波变换等。智能方法进行问题的解决的技术通常第一步进行参数的初始化，然后进行调参处理。例如粒子群优化算法等。BP神经网络的算法流程如图3.2所示。19 第三章基于BP神经网络的嵌入式系统及在模拟电路故障诊断中的应用开始置各层权值和阈值的初始值给定输入向量和目标输出向量选定比率参数求隐层和输出层各单元输出求期望输出和实际输出的误差误差是否满足要求结束计算权值局域梯度权值、阈值学习修正图3.2算法流程图Fig3.2Flowchartofalgorithm设ynj表示迭代n次时神经元j输出处的输出信号，η为学习率，jin表示迭代次数n是从神经元i的输出连接到神经元j的突触权值的修正量，jn表示迭代n次时的神经元j的局域梯度。可推导得出标准取值调整公式如(3.1)所示：jinjjnyn(3.1)通过该标准公式对BP神经网络进行训练为标准BP算法。设dnj为关于神经元j的期望相应，enj表示迭代n次时神经元j的输出误差信号enjdnjynj(3.2)20 第三章基于BP神经网络的嵌入式系统及在模拟电路故障诊断中的应用设神经元j的激活函数为.，所有突触输入的权值和加上偏置记为vn，局域梯jj度n定义为jjnejnvjn(3.3)即神经元的局域梯度等于该神经元相应误差信号和相应激活函数的导数的乘积。局域梯度的计算公式取决于神经元j是一个输出节点还是一个隐藏层节点。当神经元j位于输出层时，期望相应是已知的，可以利用公式(3.2)计算该神经元的误差信号，进而利用公式(3.3)计算局域梯度。当神经元j位于隐藏层时，就没有对该输入神经元指定的期望响应。在这种情况下隐藏层的误差信号强度值需要根据所有与隐藏层神经元直接连接的神经元的误差来递归计算求解。可以推得计算公式为nvnnn(3.4)jjkkjk其中，k为上一层的神经元的编号。而在添加动量项的算法中权值ω的调整公式为jin1-jnynjjin1(3.5)公式(3.5)中为动量因子，通常为正数，jin1为上一次权值调整量。与标准的BP算法相比，更新权值时多了一个因子jin1，它表示本轮权值的更新幅度和方向不仅与本轮通过计算得到的梯度值有关，还与上一次更新的幅度和方向有关，这一因式的加入，使权值的更新具有一定的惯性，且具有了一定的抗震荡和加快收敛的能力。3.3BP神经网络嵌入式系统的设计3.3.1设计系统的结构框图[34]系统由PC离线训练模块、模数转换模块、数据处理模块及显示模块组成。系统的结构图如图3.3所示。PC离线训练故障检测电路故障检测电路ADAD转化电路转化电路BPBP网络芯片网络芯片LEDLED显示故障显示故障图3.3检测系统的结构图Fig3.3Structureofdetectionsystem21 第三章基于BP神经网络的嵌入式系统及在模拟电路故障诊断中的应用模数转换模块的功能是把故障电路中的电压信号转换为数字信号，在BP网络芯片将数字量转化为模拟值进行处理和运算，然后将运算的结果在显示模块进行显示。显示模块可以是LED灯显示，也可以是液晶显示屏显示。故障诊断流程如图3.4表示。PC机训练神经故障字典网络测试数据电路仿真保存权值写入芯片故障诊断训练神经网络输出结果故故障障诊诊断断图3.4系统故障诊断流程图Fig3.4Flowchartofsystemtodiagnosefault首先构造模拟电路故障字典，在PC机上进行网络训练，然后将所得到的权值存储进入BP网络芯片，最后数据输入BP网络芯片进行数据处理后显示输出的结果。3.3.2对BP网络芯片的选择嵌入式系统应用的芯片主要可以有51单片机、DSP和ARM等。由于BP神经网络的权值参数多，占用的存储空间多，所以必须选用RAM空间足够的芯片进行实现。BP神经网络是多层的，包括输入层、输出层和若干隐层，一般神经网络三层即可解决一般的问题，本文采用但隐层的神经网络。设输入层为i个节点，隐藏层为j个节点，输出为k个节点，则权值有i*j*k个。设权值的类型为单精度浮点型，则根据每个单精度浮点型数值占用32位即4个字节，则要求BP处理芯片的RAM大小至少是4*i*j*k字节。若使用简单的51单片机则RAM大小不符合要求。本文采用开发板使用STM32F103RBT6芯片，具有128KBFLASH、20KBSRAM，2个12位的ADC(16通22 第三章基于BP神经网络的嵌入式系统及在模拟电路故障诊断中的应用道)、51个可用的I/O脚配置，可以满足BP网络移植到嵌入式芯片的要求。并且，由于本文采用芯片本身具有2个12位的ADC，AD转换电路可以不在芯片的外围设计。注意此处不能将AD转化的电压不能超过5V，否则将烧坏ADC。若对速度有特殊要求则选取DSP芯片进行运算。3.3.3改进BP算法的选择传统的BP算法有收敛速度慢和易陷入局部极小值的缺点。针对这些缺点，很多BP算法的改进方案被提出。无论国内国外，大部分基于BP神经网络进行故障诊断的论文都研究如何改进BP算法提高收敛速度的问题。选择训练的算法与所要解决的问题本身、训练样本集的数量有很大关系，一般来说，对于包含几百个权值的大规模神经网络，使用LM算法收敛的速度最快，最终得到的训练均方误差也较小。然而LM算法的缺点是对于模式识别等问题的处理能力较弱，且对存储空间有较大要求。而对于模式识别等问题，应用RPROP算法能得到较好的训练效果。SCG算法对于函数逼近和模式识别问题也有较好的性能表现。本文认为对于故障诊断研究BP算法收敛的速度关系不大。因为对于特定的电路，一般的改进算法的收敛时间都在可承受的范围内，并且故障诊断采用的训练方法一般是离线训练，无论是什么类型改进的BP算法，最终目的都是要使误差函数达到最小即可，然后使用训练后得到的权值。换句话说，效果和训练的速度关系不大，只和最终的误差有关，重要的是数据的完整性和诊断精度。因此，本文只是使用传统的附加动量项的改进BP算法，达到所需要的精度，实现了对电路的故障诊断。3.3.4离线训练样本的获取采用MULTISIUM对各种状态下的电路进行仿真，获取各个状态下的对应节点电压值，作为网络训练样本。电路中的参数是有一定容差的，并且符合或接近正态分布。本文采用蒙特卡洛法产生足够多的测试样本对已经训练完成的神经网络进行测试。3.3.5对BP网络的设计对BP网络的设计工作主要包括网络层数、输入层节点数目、隐含层节点数目、输出层节点数目的确定及传输函数、训练方法、初始训练参数的设置等几个方面。23 第三章基于BP神经网络的嵌入式系统及在模拟电路故障诊断中的应用(1)网络层数BP网络的结构可以有一个到多个隐含层，不过，理论上已经证明，仅有一个隐含层的神经网络可以通过适当增加隐含层神经元节点数形式实现任意非线性映射。因此，单个隐含层可满足大部分应用场合的需要。当然，样本集数目较多的情况下增加一个隐含层可以大大减少神经网络的规模。本章的BP网络采用1个隐含层的网络。(2)输入层节点数输入向量的维度决定输入层节点数目。应用神经网络模型解决实际问题时，首先应该确定的是输入层的节点数目，输入层的节点数目与输入向量的维度相同。数据的表达形式会影响输入向量的维度的大小，进而影响输入层的节点数目。(3)隐含层节点数BP网络的性能的重要影响因素之一是隐含层节点数。通常来说隐含层节点数量越多，网络的性能越好，但可能造成收敛的时间过长。目前为止并没有一个理想的解析式可以用来计算最优的神经元节点个数，这也是BP网络的缺点之一。通常的做法是使用经验公式计算出隐含层节点数量的估计值。本文采用8个神经元的隐含层。(4)输出层神经元个数输出层神经元的个数与输入层的个数的确定一样，需要根据从实际问题中得到的抽象模型来确定。如在一个分类问题中，若共总有n种类别，则输出层的神经元的个数有n个神经元。(5)激活函数的选择隐含层一般使用Sigmoid函数，而输出层一般使用线性函数。如果输出层的激活函数也采用Sigmoid函数的话，则输出脉冲值将会被限制在(0,1)或者(-1,1)之间。(6)输出权值的确定BP网络采用迭代的方式更新权值，一个适当的初始值是必要的。初始值的给定随机导致了网络的不可重现性，过大或过小都会对网络性能产生影响。通常将初始值设置为较小的非零随机值，经验值一般为2.4FF,2.4或3FF,3之间，其中F为权值输入端连接的神经元个数。3.4仿真实验基于以上分析，本文将进行两次电路实验来验证本文所提方法的有效性：基于纯电24 第三章基于BP神经网络的嵌入式系统及在模拟电路故障诊断中的应用[35]阻电路的线性电路以及含有运算放大器的非线性电路。3.4.1在线性电路中的应用使用PSPICE软件建立如图3.5所示的纯电阻线性电路。R81B500R11BR31BR51BR71Bout1out2R91000V10002.131V1000V10002.131V10R101B101BR2R4R6V110004.972V10001000V24.972V5Vdc5Vdc1B1B1B1.421V5.000V0图3.5线性电阻电路Fig3.5LinearResistantCircuit0V图3.5对应的实物图如图3.6所示。其中左侧是线性电阻电路，右侧为显示电路及其处理电路。处理芯片在液晶显示屏的下方。25 第三章基于BP神经网络的嵌入式系统及在模拟电路故障诊断中的应用图3.6线性电阻故障测试实物图Fig3.6Objectpicturesofdiagnosinglinearcircuit选取两个测试点进行测试，数据经过归一化后故障表如表3.1所示。本文归一化方法为同时除以最大值的方法。各个节点的电压同时除以最大值5，将所要求的电压值，归一化到0-1之内。表3.1电阻电路故障表Tab3.1ResistancecircuitfaulttableV/v故障编码状态120.42620.4262000正常0.98040.704001R1短路0.59740.512010R2开路0.37860.426011R3短路0.33120.3312100R4短路0.4260.3786101R5短路0.21260110R6短路0.7040.9804111R7短路相关的数据集及其参考程序根据[54]的链接，在笔者的GITHUB主页中寻找。使用蒙特卡洛算法获取600条数据集进行测试，得到不同电阻容差下正确率如表3.2所示。26 第三章基于BP神经网络的嵌入式系统及在模拟电路故障诊断中的应用表3.2不同电阻容差下测试的正确率Tab3.2Differentresistancetolerancecorrectrate电阻容差/%正确率/%202815371051591从表3.2可以看出，容差越大网络测试的正确率越低，这符合实际故障诊断的实际情况。当容差为5%时，网络测试的正确率是在实际情况中诊断正确率允许的范围内。事实上，实际的电阻容差值也在5%附近。诊断错误的原因之一是容差太大时，状态之间有交叉。3.4.2在非线性模拟电路中的应用电路分为数字电路和模拟电路，模拟电路又分为线性模拟电路和非线性模拟电路。模拟电路的诊断比数字电路故障诊断困难，而非线性的模拟电路比线性的模拟电路的故障诊断更加困难。这是因为诊断的困难程度是和状态的多样性相关的。线性模拟电路虽然和非线性模拟电路一样具有状态的无穷性，但因为线性的可数学表示化、电路器件的单一化等原因，相对非线性的模拟电路更容易。事实上，可以将非线性模拟电路看成线性模拟电路的一般情况，线性电路可以看成是数字电路的一般情况。可以将非线性电路的方法移植到线性电路及其数字电路中。图像处理、人脸识别等领域通常有公有的数据集可供实验。如模拟识别中的MNIST数据集，其实验的准确率可以和其他论文进行比较，是实验方法的有效性的一种检验方法。而在模拟电路故障诊断中没有公用的数据集可以使用，通常是使用N阶的滤波器进行检验。笔者建议故障诊断学术界使用统一的电路图并公开数据集进行实验，这将对未来故障诊断学术界的发展起到一定的推动作用。本论文的相关数据可在表格中及其GITHUB网站中获取。RC耦合放大器在模拟电路中具有代表性，本文采用两级RC放大器作为故障诊断的研究对象。在真实的模拟电路中硬故障有很大的比例。本次实验只考虑硬故障的情况，暂时未将软故障考虑在内。两极RC放大电路的原型电路如图3.6所示。27 第三章基于BP神经网络的嵌入式系统及在模拟电路故障诊断中的应用VCC20VC650µFR7R1R34.5kΩC5220kΩ4.5kΩR5120kΩQ15100µF2C3100µF42N2222A1R9Q21.0kΩC1650µF2N2222AR6R8C4V120kΩ1.0kΩ100µF3C212VrmsR2R450Hz100µF40kΩ1.0kΩ0°图3.6非线性电路Fig3.6Nonlinearcircuit本章节是基于嵌入式系统的故障诊断，其诊断的都是简单的硬故障及其单一故障，其创新性在于使用了直接使用芯片的方式进行网络的实现。本章构建了小型的大脑，思想是使用芯片作为大脑的硬件基础，神经网络的参数及其代码作为大脑的灵魂，可以进行简单的分类和显示。未来芯片的内存逐渐增大，可以构建的网络也会逐渐扩大，功能也会更加完善。不同工种的人工大脑具有不同的网络结构和训练参数。各个人工大脑相互联网，交流信息并能够自我进化。也会有一个超级大脑的存在，相当于蚁群中的蚁后，可以对其他分脑进行资源配置。对此电路进行诊断，首先构造一个故障集。由于电路的多故障组合的情况是非常大的，这里仅仅考虑单一故障的情况。下面的符号定义如下。B代表三极管基础极，C代表三极管集电极，E代表三极管发射级，OC代表开路，SC代表短路。建立如下的故障表及通过仿真得到的节点电压如表3.3所示。28 第三章基于BP神经网络的嵌入式系统及在模拟电路故障诊断中的应用表3.3仿真出来的不同状态时测量节点电压及编号Tab.3.3SimulationmeasureoutthedifferentstatesofthenodevoltageandnumberingV/v序号状态编码1234560正常000019.419.20.8194.827.222.861Q1BESC0001174.823.830.246200.2462Q1CESC001019.419.20.8194.993.643.643Q1BCSC001118.714.91.714.584.583.594Q2BESC010042042.6710.92.045Q2CESC010117.14.0142.6710.92.046Q2BCSC011014.214.26.5417.114.12.297C2SC011120.119.14.134.957.133.488C3SC100019.46.260.8176.255.975.759C4SC100119.419.10.8614.350.9734.710R1SC10102019.219.22.6710.92.0411R3SC101112.12.6413.82.6710.92.0412R3OC110019.60.5560.5512.6710.92.0413R4OC110112.42002.6710.92.0414R5SC1110174.343.932019.219.215R7SC111119.419.10.8425.08203.11用上述数据对网络进行训练，迭代次数为16000，得到的训练曲线如图3.7所示。29 第三章基于BP神经网络的嵌入式系统及在模拟电路故障诊断中的应用图3.7加入标准BP算法及加入动量项的BP算法的比较Fig3.7ComparisonbetweenstandardBPalgorithmandBPalgorithmwithmomentum并用表3.3数据集进行网络测试，得到的网络故障诊断的诊断速度和正确率如表3.4所示。表3.4训练速度和测试诊断率比较Tab3.4Comparethetrainingspeedandtestcorrectrate迭代次数16000时的算法达到0.01时的迭代次数测试正确率标准BP算法1401792.5%加入动量项BP算法948299.8%从表3.4及图3.7、图3.8中可以看出，当训练误差达到0.01时，采用加入动量项的BP算法比标准的BP算法的迭代次数更少，即采用改进的BP算法较大提高了网络的收敛速度，并且在迭代次数相同的情况下，改进的BP算法收敛的误差更小。3.5本章总结BP算法较之标准算法具有更快的收敛速度，故障定位准确率高。此外，本文提出的基于嵌入式系统的BP神经网络在模拟电路系统中应用，能够有效解决模拟电路故障问题，为模拟电路故障诊断方法的实用化提供了新的思路。30 第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用4.1引言自从2006年Hinton提出深度学习的基本框架以来，该理论已在语音识别、图像处理、文本识别等方面获得了巨大的成功。深度学习体系是当今机器学习领域前沿理论，理论代表着人工智能的未来。但是深度学习理论并没有在模拟电路故障诊断领域得到应用。本文首先尝试将深度学习理论引入模拟电路故障诊断领域中，为故障诊断提供了新的解决思路。用于模拟电路故障诊断的数据的本质和图像、语音等数据一样，去除数据的表面意义，都可以使用分类器进行分类。深度网络的本质是一个高级复杂的分类器，因此可以把深度网络当成数据处理的黑箱进行操作。[36]深度置信网络是从玻尔兹曼机(BoltzmannMachine，BM)发展到受限玻尔兹曼机，然后发展到深度置信网络，玻尔兹曼机(BoltzmannMachine，BM)是Hinton在1986年提[36]出的一种随机神经网络，这种神经网络理论根植于统计力学。玻尔兹曼机理论是随后深度学习理论的基础。可以看出，机器学习领域是多学科的融合的结果。神经元的输出具有两个值，即0和1，分别表示神经元未激活和激活两种状态，这属于数字型、逻辑型或者离散型的神经网络的神经元，当然还会有模拟型神经网络，其神经元的输出是连续的。2006年，Hinton等人提出基于RBM的深度置信网络(DeepBeliefNets，DBN)，并提出了该网络模型高效的算法。该模型及其算法成为至今为止深度学习的主要框架[36-42]。[43][44][45]该理论被应用于图像处理、语音识别、文本识别等方面，取得了巨大成功。深度网络本身带有数据的预处理功能，因此不用对数据进行预处理等操作。理论上经过学习的深度网络进行故障诊断准确率能有较大提高。BP适合硬故障，需要复杂的预处理及其其他操作，深度可以用于软故障的检测。[46-47]该网络的算法主要分两步：31 第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用(1)自下而上的无监督的训练过程。逐层训练每个受限玻尔兹曼机。在第一层输入无标定数据，采用对比散度(CD,contrastivedivergence)算法进行训练。训练完第一层后，使第一层的输出作为第二层的输入进行训练，依次类推。(2)自上而下的有监督地调优过程。使用wake-up方法对系统进行调优。4.2基于卷积神经网络的深度学习理论4.2.1卷积神经网络理论概述卷积神经网络(CNN)是由生物学家维瑟尔和休博尔在早期关于猫视觉皮层的研究发[48]展而来的多层感知器(MLP)的一种。他们在研究猫视觉皮层的时候提出感受野的概念，后来日本的一位学者提出了神经认知机的理论，神经认知机是卷积神经网络的雏形，在工程中也得到了一定的应用。神经认知机最终发展到在现在图像处理、机器视觉中广泛采用的卷积神经网络。可见卷积神经网络理论也是科研人员从仿生的角度提出的创造性理论，这和人工神经元理论的提出相似。历史上，很多有名的机器学习理论都是根据仿生的观点提出的。比如蚁群算法是根据观察蚂蚁的群体活动提出的；粒子群优化算法(又称鸟群算法)是一个电器工程师和一个生物学家通过观察鸟类的觅食行为提出的优化算法；遗传算法更是根据染色体交叉变异的现象及其达尔文的“优胜劣汰”生物学观点提出的经典算法；模拟退火算法虽然是来源于固体退火的原理，也是根据生活现象观察提出的理论。因此，经典算法的提出往往是实践生活中得出的启示，这也是创造提出新理论的一种手段，给科研人员很多启发。[49][50][51]卷积神经网络的典型策略有稀疏连接、权重共享及其最大池采样。稀疏连接的方式是指相邻两层之间的连接不再是第三章中BP神经网络的全连接形式，而是根据局部空间相关性的局部连接。这样，大大减少了网络的参数规模，加大了运算的速度。这里，又用到了稀疏的概念，参考讲述栈式自编码神经网络章节中关于稀疏的表述，可以将稀疏连接看成是全连接的一种特殊形式，只不过大部分连接的传递系数都为零。权重共享策略也可以有效减少参数规模，而最大池采样策略是一种数据降维的方法，能够大大降低运算量。常见的卷积神经网络结构包括卷积层和池采用层的交替连接，最后一层是分类器层，可以采用SOFTMAX回归作为分类器。32 第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用4.2.2基于CAFFE与NGSPICE的系统设计考虑这样的情形，一个机器人的电路部位坏了，需要另外一个机器人医生进行修理，或者机器人的自己的电路坏了该机器人要对自己进行修理，则动用如图4.1所示的软件及其修理过程。将实际的检测电路转化为可处理的电路图或者电路文档，输入加入了神经网络内核的诊断程序，形成该电路的故障诊断数据集。然后通过实际的测量仪器测量电路的各项参数，输入诊断软件进行诊断从而得出诊断的故障部位。测量仪器测量真实电故障部位压电流值Ngspice神经网络内核分类器实际被检测绘制工具电路图/故障字典电路电路文档故障诊断软件图4.1软件组成及其诊断过程Fig4.1SoftwareCompositionanddiagnosticprocedures目前有一种高效实用的基于卷积神经网络的深度学习开源框架CAFFE，其作者是一个叫贾扬清的博士生，该框架已在科研及其工业上都得到了很好的效果。CAFFE是用C++语言编写，可在LINUX系统下运行，也可在WINDOWS下运行，即该框架具有跨平台性；既可以实用GPU加速，也可以只通过CPU运算的方式进行，两种方式可以切换，在芯片选择上有了余地；支持PYTHON及其MATLAB的编程接口，可使用PYTHON或者M语言进行命令行或者文本编程操作；具有模块化的特性，可以很方便地扩展到新的任务或者配置上行；上手快，模型与相应优化都是以文本形式而非代码形式给出。CAFFE给出了模型的定义、最优化设置以及预训练的权重，方便立即上手；运行效率高，能够对海量的数据进行处理；完全开源，用户可以在遵守BSD-2协议上进行二次开发。因此本文对诊断系统设计的架构采用CAFFE作为仿真数据的处理部件。SPICE(Simulationprogramwithintegratedcircuitemphasis)是最为普遍的电路级模拟程序，各厂家提供了HSPICE、VSPICE、PSPICE等不同版本SPICE软件，其仿真核心算法大同小异，内核都采用了美国加州伯克利大学开发的SPICE模拟算法。现在电路仿真方面的研究通常采用的软件是拥有SPICE内核的PSPICE软件，PSPICE软件对电路的描述有文本描述和原理图绘制两种方式。其中原理图绘制清晰明了、可读性强、容易修改、易上手学习等等优点，使得很多论文中都采用该软件作为仿33 第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用真软件。然而，PSPICE软件确是收费即闭源的，因此要想与对其进行二次开发则是非常困难。笔者于是对各种的电路开源软件进行了调查，发现了NGSPICE这款开源软件。虽然只有文本电路图描述方式，但NGSPICE由于自身具有跨平台、开源、可靠等特点，适合二次开发，因此本文系统设计选择NGSPICE作为仿真数据的产生部件。将NGSPICE仿真产生的电路数据经过中间部件格式的预处理传入CAFFE部件进行学习和训练，理论上就能完全自动实现电路模拟电路故障诊断系统。4.3基于稀疏自编码器的深度学习在故障诊断中的理论及原理分析4.3.1稀疏自编码器将网络的输入与输出相连即构成自动编码器，自动编码器(AutoEncoder)的特征提取器的基本结构图如4.2所示。特征提取器编码过程特征数据无标签数据编码器1解码过程误差解码器1图4.2自动自编码器基本结构Fig4.2BasicstructureofAutoEncoder通过无标签数据进行非监督学习的训练如上图所示。输入的数据为无标签数据。特征数据通过解码器得到的数据应尽可能与无标签数据的误差最小，从而达到数据的重构。通过特征提取器提取的特征再经过分类器(Logistic回归、SVM、BP神经网络等)进行有监督的训练。可以只调整分类器，当训练数据量足够大的时候，可以采用微调整个系统的策略。微调是指对整个神经网络进行的有监督的训练。34 第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用输入数据特征提取器1特征提取器i特征提取器n分类器误差标签数据图4.3自动编码器Fig4.3AutoEncoder如果把输入输出必须相等的限制放松***Oaa...a(4.1)1122nn其中是基，a是系数。问题的本质是一个数学优化问题，即iiMinIO,I表示输入，O表示输出(4.2)对数据的处理通常需要对数据进行相应合适的变换，而变换的第一步首先是选择合适的基向量。基向量通常是一组线性无关的单位向量，组成的向量组称为基向量组。基向量组形成一个向量空间，向量数据根据该基向量组进行映射，叫做对该向量空间的映射。如果该向量空间确定了原点，则会形成一个坐标系，可以用坐标点的形式表示向量。常见的坐标系有二维直角坐标系、三维直角坐标系及其极坐标系等。基向量根据相对于原始数据维度大小可分为“不完备”基向量、“完备”基向量及其“超完备”基向量。“超完备”基向量是指基向量的维度超过了原始数据向量的维度。学习算法根据有无标签数据可分为有监督学习和无监督学习。有监督学习是有标签数据的学习训练，需要人为地将训练数据集分为输入数据和标签数据，包括分类、回归等，而无监督学习则不需要标签数据，包括聚类等。稀疏性是一个机器学习或者压缩感知理论中经常用到的概念，指一个向量或者矩阵中零的个数远远大于非零的个数的性质。稀疏化是指通过某种手段或者变换(如小波变换、余弦变换、主元分析、稀疏编码等)将一个向量或者矩阵变换为某个具有稀疏性的向量或者矩阵。稀疏编码算法是一种为了将一组数据稀疏化而寻找一个完备的基向量组的无监督学习的算法，该算法的实现物理器件称之为稀疏自编码器。35 第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用稀疏自编码器尝试使用无标签数据训练逼近一个恒等函数，使输入等于输出，训练的方法为常用的BP算法。简单的自编码神经网络可以学习得到一个跟主元分析相似的输入数据的低维表示。即自编码系统的系统函数应为hxx(4.3)Wb,从输入层到输入层的过程叫做编码，从隐藏层到输出层的过程叫做重构。其中编码的过程可以对输入数据进行降维和数据压缩，能够发现数据间的相关性。神经元的输出值称为该神经元的激活度，当神经元输出为1时称该神经元为激活状态，当神经元输出为0时称该神经元为抑制状态，若某层神经元大部分为抑制状态，则称对该层进行了稀疏性限制。i2ii设x表示第i组输入数据，axj表示隐藏层神经元j在输入数据x下的激活度，ˆj表示隐藏层神经元j的平均激活度，则m12iˆjjax(4.4)mi1加入限制ˆj(4.5)其中代表一个接近于0的非常小的数，称为稀疏性参数。为了使ˆj接近于设定的值，加入惩罚因子s21KL||ˆjlog1log(4.6)j1ˆjj1ˆ其中，s2表示隐藏层神经元的数量。当ˆj时，KL||ˆj0，并且随着ˆj与之间的差异增大单调递增。则总体代价函数可以表示为：36 第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用s2JsparseWb,JWb,KL||ˆj(4.7)j1其中是稀疏性惩罚因子的动量项，控制惩罚因子的权重。4.3.2关于SOFTMAX分类器SOFTMAX分类器是Logistic回归模型在多分类问题的推广，可以对有标签数据进1122mm行有效地分类。设有数据集x,y,x,y,...x,y，其中，iin1xR,y0,...,k。SOFTMAX的假设函数为iipy1|x;Tie1xiiTxipy2|x;e2i.1.hxkTxi(4.8).ei.i1..Tipyikxiekx|;定义l值为真的表达式1l值为假的表达式0(4.9)则基于最大似然估计可推导得到SOFTMAX代价函数Ti1eixm1iJij10lyjlogkTxi(4.10)meii1该代价函数是LOGISTIC代价函数的推广。我们的任务是训练模型参数θ，使其能最小化代价函数。SOFTMAX求梯度的公式为J1mxilyijpyijx|;ijmi1(4.11)在实际应用一般要加上正则项，又称权重衰减项，于是代价函数与梯度公式变为37 第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用Ti1eixm1ikn2Ji1j0lyjlogkiTxii1j0ij(4.12)me2i1J1mxilyijpyijx|;i(4.13)ji1im4.3.3栈式自编码神经网络结构及运行算法本文将深度学习理论应用于故障诊断领域中，证明该理论在故障诊断领域中也具有很好的表现。栈式自编码神经网络是深度神经网络的一种，是由多层稀疏自编码器组成的神经网络。栈式自编码神经网络对指定数据具有非常强的表达和学习能力，具有很多[47]深度学习网络的优点。本文使用的模型由两层稀疏自编码器和SOFTMAX分类器组成。具体结构如图4.4所示。第一稀疏第二稀疏分类器自编码器自编码器x1x2x3x4x5x6111特征一特征二图4.4栈式自编码神经网络Fig4.4StackedAutoEncoder栈式神经网络使用逐层贪婪训练法进行训练，一次训练网络的每一层，进而训练整个深度神经网络。首先使用原始输入数据训练网络的第一层，得到第一层的权重参数和偏置参数。固定第一层的权重参数和偏置参数，然后将第一层的输出作为第二层输入训练第二层，得到第二层的权重参数和偏置参数，最后将第二层的输出输入SOFTMAX分38 第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用类器进行分类。当训练完成后，使用有标签的数据进行整体的权值的微调。微调是深度学习中的常用策略，可以大幅度提升一个栈式自编码神经网络的性能表现，同样，可以使用反向传播算法对模型进行的微调操作。4.4基于深度学习网络的实验验证4.4.1实验工具描述数据产生的工具为PSPICE软件。PSPICE工具进行仿真的功能有七种：直流分析、交流分析、噪声分析、蒙特洛卡、分析最坏情况分析、灵敏度分析、参数扫描分析本文通过交流分析获得电路的输出幅频特性曲线。从曲线中取样获得需要的频率对应的幅度值。然后对数据进行特征提取等算法操作。采用该分析取真实情况下的情况进行模拟。和交流分析功能一起，作为本次实验的主要功能。对数据进行处理的工具为MATLAB。MATLAB是矩阵实验室的简称，可以进行小波变换、神经网络的创建等工作。其中神经网络设计用到的函数有newff、train、sim等，小波变换用到的函数有wadec，wpdec，wpcoef等。MATLAB可以进行常用的文件操作，如fopen、fclose、fgetl、ftell、textscan等函数。PSPICE在实验电路进行仿真产生数据文件，然后数据MATLAB对数据文件进行处理是MATLAB进行数据通信的基础。4.4.2基于栈式神经网络的实验验证一般模拟电路故障诊断都使用滤波器进行实验。本节使用的其中一个实验电路是简单RC滤波电路如图4.5所示。规定正常状态为R1的取值在正常值的正负5%之间波动，C1的取值在正常值的10%之间波动，R1向上软故障为在5%到50%之间波动，规定符号位R1↑，R1向下软故障为负5%到负50%之间波动，规定符号为R1↓。这样实验故障状态共3种，即正常，R1↑，R1↓。39 第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用R11KV1V1Vac0VdcC11n0图4.5简单低通滤波电路Fig4.5Simplelow-passfiltercircuit对如图4.5所示的简单RC低通滤波电路的测量点进行不同状态相应曲线的绘制如图4.6所示。假如通过人眼观测则很容易观测出。如果机器来进行观测的话。则需先进行蒙特洛卡获取大量数据进行分析并进行机器算法的训练。图4.6不同状态下的响应曲线Fig4.6Responsegraphunderdifferentconditions人工选取特征时，根据三点确定一条直线的原理，选取数据点为第4000和4500和5000个数据点的电压值作为实验数据，前40组数据作为训练数据，后20组数据测试数据。建立具有一个隐藏层的BP神经网络，其中输入层为3个神经元，隐藏层有15个神40 第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用经元，输出层有3个神经元，采用人工选取特征点的方式进行分类，得到如表4.1所示[54]的实验结果。本论文的数据集及其代码都已上传到GITHUB网站。表4.1人工选取特征点Tab4.1Selectedfeaturepointsmanually状态分类编码正确率R2↓100100%R2↑01085%正常状态00190%从表4.1可以计算出通过人工选取特征点进行故障诊断总的正确率为91.67%。准确率在90%以上算是比较高的。然而这仅是简单的RC电路，对于复杂的电路，人工选取特征点则会非常困难，并且准确率不一定比通过机器学习的方式得出的准确率高。将状态编号为0-2，用第2个数据集作为无标签数据，使用稀疏自编码器进行特征提取来学习特征，然后使用一个有标签数据集0-1进行逻辑回归分类器的训练，使用该训练的逻辑分类器进行分类，共迭代19次，最后使用0-1的测试数据集进行测试，使用稀疏自编码器进行测试的结果如表4.2所示。表4.2使用稀疏自编码器进行测试结果Tab4.2testingresultusingsparseautoencoder迭代次数准确率598.100%10100%20100%30100%可看出，使用稀疏自编码器进行的机器学习的辨识准确率比人眼识别率高，甚至可以达到100%。当然，这是对于简单的RC电路的数据集进行实验得到的结果。使用基于稀疏自编码器的栈式神经网络不仅可对简单的模拟电路进行诊断，而且可对大规模的电路进行故障诊断。进行的实验是基于Deeplearning工具箱进行。实验采用三阶带阻滤波器，如图4.7所示。41 第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用R3R4R7R8R1010k6.56k10k5.65k10k0U20U1+R9U3+C3C4OUT+OUT-OUTR1R2OPAMP10k--VOPAMP10n10nOPAMP15k15kR6R5R11C2C131k31k10k10n4Vac10nV100000VdcR1201k图4.7三阶带阻滤波器Fig4.7Threeorderband-eliminationfilter各参数的数值如图所示，电阻的容差范围5%，电容的容差范围为10%。设电阻元件的误差在边界5%到50%之间时为电阻故障。用PSPICE软件，对于5种故障状态正常状态、R2↑、R2↓、R3↓及R6↓共5种故障状态，共15000次Monte-Carlo分析，对图4.7所示测试点(本数据集仅有一个测试点)得到的15000条响应波形曲线分别进行784次平均采样。其中10000次作为训练数据，5000次用于测试数据，每条数据共784个采样[54]点。得到的故障准确率如表4.3所示。具体实验数据可在网站链接下载。表4.3不同迭代次数的故障诊断率Tab4.3Faultydiagnosisrateondifferentiterationnumbers正确率迭代次数没有tunetune3065.743%74.435%5076.660%83.116%7074.360%91.340%9078.000%95.040%11084.340%95.660%13081.980%96.060%从表4.3可看到经过tune(即微调)之后可以大大提高故障诊断的准确率，通过微调就可以显著提升分类器的性能。经过130步的迭代可以使故障的准确率达到96%的正确42 第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用率。事实上，该类型的神经网络最初是在图像分类、语音识别中应用成功，本章对波形的正确分类，这也说明了数据的一致性假设的正确性。与5.3.1节的通过小波和神经网络对该数据集进行比较，可以看出通过栈式神经网络进行诊断的正确率比单纯用小波及BP神经网络集成高得多。当然，本实验的局限性在于只能对5种不同的软故障状态做出正确的诊断，再多的话准确率会下降。理论上，深度神经网络的层数越高，则诊断率也会越高。今后可以通过增加网络深度的方式进行软故障诊断状态的增加。对输出进行可视化的结果如图4.8和图4.9所示。图4.8第一层编码器输出可视化Fig4.8visualizationoffirstautoencoder43 第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用图4.9第二层自编码器输出可视化Fig4.9Visualizationofsecondantoencoder在图4.8和图4.9中。每一个小方块都是684个像素点，其大小用颜色值表示。输出的意义是灰色的为0，白色的为某个数值(全黑的不是输出值)，可以看到自编码器对数据进行了稀疏处理。从特征提取上来看，通过稀疏自编码器的输出可看作是对输入数据的降维处理。4.5本章总结深度学习理论中“深度”一词表示神经网络层数的是比较多的，可能有50层甚至100层。由于本文的电路结构简单，数据集也不是多复杂，因此两层就已经足够了。另外，由于笔者电脑配置有限，限制了更深的网络的使用。但是本章实验已经用到了深度学习理论的核心算法。当电路集成度更高更复杂的时候，需要将网络的深度加深，即增加更多的隐藏层，从而提高故障的诊断率及其诊断状态数量。本章主要讲述了三种目前流行的三种深度神经网络：深度置信网、栈式神经网络及卷积神经网络，并分别对三种网络的网络结构、算法流程进行了描述。不论是深度置信网、稀疏自编码器、还是卷积神经网络，基本的算法都有两个：一是无监督地逐层训练，44 第四章基于深度神经网络的技术及在模拟电路故障系统诊断中的应用二是有监督地全局微调。本章对深度置信网用于模拟电路的故障诊断的可行性进行了论证，使用栈式神经网络用于故障诊断进行了实验验证，并基于卷积神经网络的模拟电路故障诊断系统进行了系统结构上的设计。通过实验验证，基于深度学习的栈式神经网络可以有效地对模拟电路故障的进行诊断。本章采用深度学习神经网络对模拟电路进行诊断，大大提高了模拟电路故障诊断的准确率。实验中发现，随着迭代次数的增加，故障的准确率也随之增加。当进行微调之后，深度学习的准确率会显著提高。笔者做实验时发现，两层的深度学习网络只能识别出5种不同的软故障状态。因此下一章节将采用小波、PCA、神经网络集成在一起的方式增加可诊断的软故障状态。45 第五章松散型小波集成神经网络及其在模拟电路故障诊断中的应用第五章松散型小波集成神经网络及其在模拟电路故障诊断中的应用5.1引言[55-59]不同的诊断具有不同新的方法，本章节将采用基于变换的松散型小波集成神经网络的方法进行故障的诊断。变换是信处理领域常用的数据概念。广义上来讲，任何对数据按照一定规则进行处理都可以看成是变换，如全部数据的值都加1也可以看成一种变换。狭义上变换是指将数据用一组基的形式表示。在第4.3.1节已经描述了基向量组的概念，狭义的变换本质上是将数据在基向量组空间进行变换。变换分成离散变换和连续变换，本文主要研究离散变换。选择合适的基是进行变换的关键，如连续傅里叶变换采用正弦和余弦两个正交的函数作为基。关于正交，离散领域的正交是指两个向量的内积为零，在二维空间中表现为垂直，连续领域中的正交是指两个函数之间积分为零。正交的概念的使用在于展开系数的求解方便。小波变换和傅里叶变换都是属于波分析，小波的小在于波函数的能量是有限的，而傅里叶变换的波函数能量是无限的。由于特征提取后数据量大，必须对数据进行降维的处理。主元成分分析(PCA方法)是常用的降维方法。5.2原理分析5.2.1小波变换原理[53]小波变换信号研究领域的显微镜，可以分析出信号的任意细节。常用的小波变换分为一维小波变换和二维小波变换。对于电路信号的故障特征提取来说而言，二维小波变换相对于一维小波变换具有计算方便及其提取的特征维度少的特点。本章采用二维小波变换来提取频带的故障特征，分解使用Mallat快速算法实现。对数据的处理首先要进行特征的提取。特征提取有多种手段，其中Gabor变换是进行特征提取的重要工具，广泛用于特征提取、图像处理等模式识别领域。理论上可以使用任何形式的小波函数对目标信号进行多分辨率分析。本文进行Gabor小波变换基于公式(5.1)(5.2)(5.3)(5.4)。46 第五章松散型小波集成神经网络及其在模拟电路故障诊断中的应用k22k2x2y2x(5.1)guvxy,22exp-expikexp22ykxkvucosk(5.2)kykvusinv2k22(5.3)v(5.4)k其中gx,y表示Gabor核函数，v和u表示Gabor滤波器不同的尺度与方向。uv用小波预处理采取能量特征分布的提取方法。小波分解是将研究信号通过一个高通滤波器和一个低通滤波器，分解得到一组高频信号和一个低频信号。然后再让得到的低频信号通过一个高通滤波器和一个低通滤波器分解为一组高频信号和一个低频信号。以此类推，直到分解为所需要的次数为止。可以将变换以塔状结构表示。小波分解的结构可以通过分解数据的逆向操作还原原来的数据。能量特征分布小波变换归一化提取神经网络诊断采样数据仿真电路显示输出小波预处理通用处理图5.1小波预处理流程图Fig5.1Waveletpretreatmentflowchart47 第五章松散型小波集成神经网络及其在模拟电路故障诊断中的应用5.2.2主元分析原理主成分分析是对多变量的数据集进行降维处理的一种数据处理方法，将高维空间中的数据样本映射到低维的主成分空间中，而尽可能保留原有信息。对于具有多变量的数据集进行主成分分析，可以观察到影响变量的分布状况，通过对各个变量在主成分上的影响因子大小找出影响结果最大的变量，从而排除影响结果小的变量，从而减少分析时的数据量，降低了分析向量的维度。数据集通过主成分分析降维后的数据集作为神经网络的输入数据，一方面减少了网络的输入神经元的节点数和数据量，加快网络的收敛，另一方面又起到了过滤掉信号噪音的目的。设有m条n维数据，进行主元分析的常用步骤为：(1)数据集的格式化。将要分析的数据集按列组成n行m列矩阵X。(2)将X矩阵的没一个元素减去所在行的均值，进行按行的零均值化处理。(3)求出协方差矩阵C=1/m*X(X的转置)。(4)根据协方差矩阵求出特征值及对应的特征向量。(5)将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P。(6)矩阵Y=PX即为降维到k维后的数据矩阵。5.2.3松散型小波集成神经网络原理基于一个对象具有多个特征的特点，本文提出松散型小波集成神经网络的概念，使得传统的一维神经网络扩展到松散型小波集成，也使得辨识准确率提高。本文中将松散型小波集成神经网络中分立的神经网络数量称为该集成神经网络的维度。并将各个神经网络称之为基神经网络。首先通过小波进行多方向多深度的特征提取，然后使用PCA进行降维，使用松散型小波集成神经网络作为分类器进行分类，最后使用决策器进行类别的判别。松散型小波集成神经网络的原理图如图5.2所示。(1)训练数据通过特征提取器提取多个训练特征。(2)每个训练特征通过分类器进行训练，得到经过训练后的分类器。(3)测试数据通过特征提取器进行提取多个测试特征。48 第五章松散型小波集成神经网络及其在模拟电路故障诊断中的应用(4)每个测试特征分别通过分类器进行训练，得到分类后的结果。(5)对分类后的结果进行综合判定，占比例大的结果作为最终的训练结果。特征1分类器1特征2分类器2数据特征提取器决策器类别…………特征n分类器n图5.2松散型小波集成神经网络原理图Fig5.2Schemeofmultidimensionalneuralnetwork一维平面神经网络的结构如第二章节所示。四维松散型小波集成神经网络的结构如图5.3所示。松散型小波集成神经网络的本质是将四个一维平面神经网络组合在一起，具有良好的并行处理数据的能力。误差反向传播2a1xyˆ112a2x2yˆix3yˆn第一维神经网络第二维神经网络2am第三维神经网络第四维神经网络VW输入层隐含层输出层信息正向传播图5.3松散型小波集成神经网络结构Fig5.3Structureofmulti-dimensionalneuralnetwork49 第五章松散型小波集成神经网络及其在模拟电路故障诊断中的应用事实上，松散型小波集成神经网络本质上是对神经网络的集成，每组神经网络可以称为基神经网络。通过数据的多个层次的变换处理，达到正确分类的目的。该网络结构[60]最初应用在图像处理中。关于网络结构的命名，笔者最初将这种结构称为“多维立体神经网络”，最初的构想是深度神经网络是横向的扩展来提高诊断的准确率，那么我们可以通过纵向的扩展来提高运行的准确率。通过认真地与网上论文的对比，发现这种结构并不是本人的原创只是某种程度上的改进，在此声明。当然，可以借鉴4.1节阐述的深度学习理论的参数调节策略，对松散型小波集成网络的参数调节策略进行改进，从而增加分类的正确率。更近一步，可以将深度神经网络理论与松散型小波集成神经网络理论融合，从而形成真正全面的立体型的神经网络体系。这些研究将在以后的工作中进行。5.3实验验证5.3.1小波变换实验4.4.2节的实验采用了人工选取数据的方式。通过手工选取特征的方式进行分类。事实上可以通过其他方式提取故障信号。以下是通过小波变换的方式进行特征提取获取的实验结果。先通过小波变换将实验数据降维处理，提取故障特征向量，然后将故障特征向量送入上述所示神经网络分类器进行分类，进行分类和测试处理。得到的实验数据如[54]表5.1所示。表5.1通过小波变换技术进行特征提取Tab5.1Featureextractionusingwavelettransform状态分类编码正确率R2↓10095%R2↑01085%正常状态00195%从表5.1可以计算出平均正确率为91.67%，和4.4.2节通过人工选取特征点的相同。虽然人工选取特征和小波变换进行的特征提取准确率相同，显而易见的是使用小波变换自动提取特征省时省力，比人工选择速度更快，效率更高。50 第五章松散型小波集成神经网络及其在模拟电路故障诊断中的应用对于实验电路图4.7得到的数据集，也可以使用小波变换的方式进行故障的分类。数据首先经过5层小波包分解得到数据，然后使用BP神经网络作为分类器进行训练，经过20000次迭代得到的准确率如表5.2所示。可以计算出诊断的平均准确率为65.66%，而4.4.2节中经过两层的深度神经网络得到的平均故障诊断率为96%。说明经过深度神经网络进行的故障诊断率比直接通过小波包变换和分类器集成的准确率要高的多。表5.2小波变换及BP网络集成得到的准确率Tab5.2Faultydiagnosisrateofwavelet编码状态分类准确率00001正常状态32.4%00010R2↑64.4%00100R2↓85.0%01000R3↓71.6%10000R6↓74.9%当然，能够达到70%以上的故障诊断的准确率，也是能够接受的，在5.3.3节将该结构进行改进，增加主元分析模块，增加故障诊断的准确率及其故障诊断的状态。5.3.2节将使用主元分析对简单电路进行实验。5.3.2主元分析实验如何不同提取特征提取，直接将数据送入分类器进行处理是我们要研究的问题。取特征向量的长度k=3，使用PCA对RC电路故障电路进行特征分析并进行诊断的实验结果如表5.3所示。表5.3使用PCA分析进行特征提取Tab5.3FeatureextractionusingPCA状态分类编码正确率R2↓10090%R2↑01090%正常状态00175%总的正确率为85%。但是对于大规模的模拟电路效果依然不理想。相比小波包、手工特征提取而言准确率偏低。下节将通过小波、PCA及其神经网络集成的方式对大规模51 第五章松散型小波集成神经网络及其在模拟电路故障诊断中的应用集成电路进行诊断。5.3.3松散型小波集成神经网络实验各元件参数的数值如图4.7所示，电阻的容差范围5%，电容的容差范围为10%。设电阻元件的误差在边界5%到50%之间时为电阻故障。用PSPICE软件，对于正常状态、R2↑、R2↓、R3↓、R6↓、R7↓、R9↓、C2↓、C2↑共10种故障状态，分别进行3000次Monte-Carlo分析，得到30000条数据，每条数据共684个采样点。其中20000次作为训练数据，10000次用于测试数据。R2↑部分实验数据如表5.4所示。图5.4不同维度神经网络训练训练情况比较Fig5.4Trainingstatusofdifferentdimension由图5.4可看到，每条收敛曲线，在随着迭代次数的增加，收敛的速度也随着降低，在达到一定的迭代次数时达到收敛值。多个收敛曲线比较，维度越高，训练的时间越长，而收敛的精度也越小。根据训练的网络对10000条测试数据进行测试得到表5.4所示的测试结果。由表格5.4可以看到，随着维度的变高，辨识的准确率也随之变高，在达到三维的时候基本达到可用的准确率。松散型小波集成神经网络并不是神经网络结构上的创新，只是将多个数据处理单元集成在一起的一种算法流程。该流程理论上在其他领域可以得到很好应用。通过传统的小波变换、PCA、神经网络集成的方式，以更多能量损耗及运算时间的代价来获取准确率的提高。除了松散型的小波集成神经网络，也可以通过紧致型的小波神经网络进行故障的诊52 第五章松散型小波集成神经网络及其在模拟电路故障诊断中的应用断。紧致型小波神经网络指神经网络中神经元的阈值函数是小波函数而不是2.2.2节所阐述的三种常用阈值函数。表5.4不同维度神经网络的准确率比较Tab5.4Faultydiagnosisrateofdifferentdimension一维神经网络准二维神经网络准三维神经网络准编码状态分类确率确率确率000000001正常状态32.4%84.3%91.4%000000010R2↑64.4%87.4%92.4%000000100R2↓85.0%80.9%94.5%000001000R3↓71.6%84.3%93.5%000010000R6↓74.9%82.4%92.4%000100000R7↓60.5%81.3%93.5%001000000R9↓70.7%86.7%91.8%010000000C2↓75.4%80.4%93.5%100000000C2↑72.3%86.7%90.4%5.4本章总结主要概述了小波变换、主元分析的基本理论及其用于故障诊断的基本原理，并分别进行了实验。提出了松散型小波集成神经网络的概念，并进行了相应的实验，实验结果表明松散型小波集成神经网络可以较准确地诊断出模拟电路的故障。53 第六章总结与展望第六章总结与展望6.1总结模拟电路故障诊断的理论已经发展了几十年并取得了一定的成果，但是传统的方法对于开路、短路这种硬故障非常有效，但往往对发现类似于电路元器件存在的器件缓慢失效的软故障则束手无策。此外，在很多情况下，电路的可测点太少，导致获取的信息量有限，传统的方法无法对电路进行有效诊断。模拟电路故障诊断的研究融合了信号、控制、电路等多学科及领域的交叉形成的理论和技术，并可吸收当今先进的理论和技术不断发展，如过去小波分析、神经网络等理论的引入，本文中深度学习理论、松散型小波集成神经网络理论的引入，具有强大的生命力，具有与时俱进的特性。人工神经网络是对生物神经网络的功能抽象模型的产物，以分布方式存储并处理信息，有很强的自学习能力、自组织能力，并具有联想记忆的特点，能够有效处理模糊信息，非常适合在模拟电路故障诊断中应用。目前神经网络的飞速发展，如基于先进的深度学习理论的神经网络已经在各个行业得到广泛应用和认可。将先进的技术引入该领域的可行性已在本文得到验证，并提出了可用于实际应用的系统架构。另外，将小波变换、主元分析等数据处理工具与神经网络进行结合使用也对改善故障的准确率、减少计算量及提高诊断的速度有重要作用。6.2展望基于神经网络的模拟电路故障诊断目前已经取得了一定的成果并已经在实践中有了较多的应用。基于神经网络进行模拟电路故障诊断是一个有重要意义的研究课题，未来电路故障的自动检测、自动诊断、自动修复将在智能化的未来得到越来越多的重视和应用。限于本人能力水平和科研时间有限，仅仅对某些方面其进行了某种程度的探索，还有许多问题有待进一步研究和解决。例如，能否证明设计一个通用的神经网络对大部分的电路进行故障诊断，是否可以将遗传算法的理论应用到模拟电路故障诊断中还有待研究;模拟电路发生多故障时，即电路中多个元器件同时发生故障时候，如何有效进行诊断也是一个值得研究的问题。54 参考文献参考文献[1]祝文姬,何怡刚.容差模拟电路软故障诊断的神经网络方法[J].电工技术学报,2009,24(11):184-191.[2]谭阳红.基于小波和神经网络的大规模模拟电路故障诊断研究[D].湖南大学,2004.[3]Berkowitz,R.ConditionsforNetwork-Element-ValueSolvability[J].IreTransactionsonCircuitTheory,1962,9(1):24-29.[4]NavidN,WillsonAN.Theoryandanalgorithmforanalogcircuitfaultdiagnosis[J].IEEETransactionsonCircuits&Systems,1979,CAS-26(7):440-457.[5]BandlerJW,SalamaAE.Faultdiagnosisofanalogcircuits[J].ProceedingsoftheIEEE,1985,73(8):1279-1325.[6]LeeJ,BedrosianSD.Faultisolationalgorithmforanalogelectronicsystemsusingthefuzzyconcept[J].IEEETransactionsonCircuits&Systems,1979,26(7):518-522.[7]Stevens,S,LinPM.Analysisofpiecewise-linearresistivenetworksusingcomplementarypivottheory[J].IEEETransactionsonCircuits&Systems,1981,28(5):429-441.[8]HochwaldW,BastianJ.Adcapproachforanalogfaultdictionarydetermination[J].IEEETransactionsonCircuits&Systems,1979,26(7):523-529.[9]FreemanS.Optimumfaultisolationbystatisticalinference[J].IEEETransactionsonCircuits&Systems,1979,26(7):505-512.[10]BandlerJW,SalamaAE.Faultdiagnosisofanalogcircuits[J].ProceedingsoftheIEEE,1985,73(8):1279-1325.[11]罗先觉,邱关源.开关电容网络故障子网络的诊断[J].西安交通大学学报,1991(2):11-20.[12]谭阳红,何怡刚.模拟电路故障诊断的新故障字典法[J].微电子学,2001,31(4):252-254.[13]McCullochWS,PittsWA.LogicalCalculusoftheIdeasImmanentinnervousActivity.BulletinofMathematicsandBiophysics,1943,5:115-133.[14]HebbDO.OrganizationofBehavior,NY:JohnWiley,1949.[15]RosenblattF.Theperceptron:aprobabilisticmodelforinformationstorageandorganizationinthebrain[J].PsychologicalReview,1958,65(6):386-408.[16]WindrowB,HoffME.AdaptiveSwitchingCircuits.IREWESCONConventionRecord4,1960,96-104.[17]HopfieldJJ.Neuralnetwoeksandphysicalsystemswithemergentcollectivecomputationalabilities[J].Proc.natl.acad.sci.usa,1982,79(8):2554-2558.[18]HintonG,OsinderoS,TehY.AFastLearningAlgorithmforDeepBeliefNets[J].NeuralComputation,2006,18(7):1527-1554.[19]SchölkopfB,Platt,J,Hofmann,T.Greedylayer-wisetrainingofdeepnetworks[J].AdvancesinNeuralInformationProcessingSystems,2007,19:153-160.55 参考文献[20]RanzatoM,PoultneyC,ChopraS,etal.EfficientLearningOfSparseRepresentationsWithAnEnergy-BasedModel[J].AdvancesinNeuralInformationProcessingSystems(NIPS2006,2006:1137-1144.[21]王欣.基于神经网络的模拟电路故障诊断方法研究与实现[D].西安电子科技大学,2007.[22]赵德赞,邢军,王智森.基于嵌入式系统的BP神经网络及其在模拟电路故障诊断中的应用[J].大连工业大学学报,2016(1).[23]李建伟,程晓卿,秦勇.基于BP神经网络的城市轨道交通车辆可靠性预测[J].中南大学学报:自然科学版,2013，44(1):42-45.[24]PengK,DongJ,LiF.Analogcircuitfaultdiagnosisbasedonartificialneuralnetworkandembeddedsystem[C]//2009InternationalConferenceonTestandMeasurement(ICTM).2009:271-274.[25]师彪,李郁侠,于新花.动态调整蚁群-BP神经网络模型在短期负荷预测中的应用[J].水利发电学报,2011,30(3):5-9.[26]HanB,LiJ,WuH.DiagnosisMethodforAnalogCircuitHardfaultandSoftFault[J].TelkomnikaIndonesianJournalofElectricalEngineering,2013,11(9).[27]MahdiehJ,FarhadR.FaultDetectioninAnalogueCircuitUsingHybridEvolutionaryAlgorithmandNeuralNetwork[J].AnalogIntegratedCircuitsandSignalProcessing,2014,80(3):551-556.[28]WangH,ShanG,DuanX.OptimizationofLM-BPneuralnetworkalgorithmforanalogcircuitfaultdiagnosis[C]//InformationScienceandTechnology(ICIST),2013InternationalConferenceon.IEEE,2013:271-274.[29]SheikhanM,Sha’BaniAA.PSO-optimizedmodularneuralnetworktrainedbyOWO-HWOalgorithmforfaultlocationinanalogcircuits[J].NeuralComputing&Applications,2013,23(2):519-530.[30]彭卫韶，李力争，胡燕瑜.模拟电路故障信号的小波预处理[J].中南大学学报:自然科学版,2008,39(3)：584-589.[31]王淑娟，陈博，赵国良.基于小波包变换预处理的模拟电路故障诊断方法[J].电工技术学报，2013,18(4)：118-122.[32]田学民，王强，邓晓刚.一种引入动量项的小波神经网络软测量建模方法[J].化工学报2011,62(8):2238-2242.[33]周建萍,郑应平.基于Morlet波核多类支持向量机的故障诊断.华东电力,2008,36(8)：76-79.[34]丁力,宋志平,徐萌萌.基于STM32的嵌入式测控系统设计[J].中南大学学报:自然科学版,2013,44(1):260-265.[35]樊丁,郭晋昌,黄健康.双丝旁路耦合电弧MIG焊嵌入式控制系统设计与实现.焊接学报,2013，34:1-4.[36]Jordan,M,Sejnowski,T.Learningandrelearninginboltzmannmachines[J].ParallelDistributedProcessingExplorationsintheMicrostructureofCognition,1986:45-76.56 参考文献[37]SmolenskyP.Informationprocessingindynamicalsystems:Foundationsofharmonytheory[A].In:RumelhartDE,McClellandJL(eds.).Paralleldistributedprocessing:explorationsinthemicrostructureofcognition.Vol.1:Foundations.Cambridge,MA:MITPress,1986.[38]HintonGE.TrainingProductsofExpertsbyMinimizingContrastive[J].NeuralComputation,2003,14(8):1771-800.[39]HintonGE,SalakhutdinovRR.ReducingtheDimensionalityofDatawithNeuralNetworks[J].Science,2006,313(5786):504-507.[40]BengioY.LearningdeeparchitecturesforAI[J].FoundationsandTrendsinMachineLearning,2009,2(1):1-127.[41]ArelI,RoseDC,KarnowskiTP.Deepmachinelearning-Anewfrontierinartificialresearch[J].IEEEComputationalIntelligenceMagazine,2010,5(4):13-18.[42]HintonGE.APracticalGuidetoTrainingRestrictedBoltzmannMachines[M]//NeuralNetworks:TricksoftheTrade.SpringerBerlinHeidelberg,2012:599-619.[43]KrizhevskyA,SutskeverI,HintonGE.ImagenetClassificationwithDeepConvolutionalNeuralNetworks[J].AdvancesinNeuralInformationProcessingSystems,2012:2012.[44]ShaofeiXue,Abdel-Hamid.FastAdaptationofDeepNeuralNetworkBasedonDiscriminantCodesforSpeechRecognition[J].IEEETransactionsonAudioSpeechandLanguageProcessing,2014,22(12):1713-1725.[45]SarikayaR,HintonGE,Deoras.anApplicationofDeepBeliefNetworksforNaturalLanguageUnderstanding[J].IEEETransactionsonAudioSpeechandLanguageProcessing,2014,22(4):778-784.[46]YushiChen,ZhouhanLin,XingZhao.DeepLearning-BasedClassificationofHy-perspectralData[J].IEEEJournalofSele-ctedTopicsinAppliedEarthObservationsandRemoteSensing.2014,7(6):2107-2116.[47]ANDREWNG,UFLDL.[48]HubelDH,WieselTN.Receptivefields,binocularinteractionandfunctionalarchitectureinthecat'svisualcortex[J].JournalofPhysiology,1962,160(1):106–154.[49]StrömN.SparseConnectionAndPruningInLargeDynamicArtificialNeuralNetworks[J].ProcEurospeech,1997:2807--2810.[50]WonY,,GaderPD,CoffieldPC.Morphologicalshared-weightnetworkswithapplicationsto，automatictargetrecognition[J].IEEETransactionsonNeuralNetworks,1997,8(5):1195-1203.[51]ThomasSerre,MaximilianRiesenhuber,JenniferLouieandTomasoPoggio.OntheRoleofObject-SpecificFeaturesforRealWorldObjectRecognitioninBiologicalVision[M]//BiologicallyMotivatedComputerVision.SpringerBerlinHeidelberg,2002:387-397.57 参考文献[52]赵德赞,邢军,王智森.基于图像处理和定位技术的森林防火系统设计[J].消防科学与技术,2015,34(7).[53]SheikhanM,ShabaniAA.PSO-optimizedModularNeuralNetworkTrainedbyOWO-HWOAlgorithmforFaultLocationinAnalogCircuits[J].NeuralComputingandApplications,2013,23(3):519-530.[54]https://github.com/zhaodezan/analogy-circuit-diagnosis[55]WuF,ZhaoJ.AReal-TimeMultipleOpen-CircuitFaultDiagnosisMethodinVoltage-Source-InverterFedVectorControlledDrives.IEEETransactionsonPowerElectronics,2016,31(2):1425-1437.[56]LiB,ShiS,WangB,etal.FaultDiagnosisandTolerantControlofSingleIGBTOpen-CircuitFailureinModularMultilevelConverters[J].IEEETransactionsonPowerElectronics,2016,31(4):3165-3176.[57]KamelT,BiletskiyY,ChangL.Real-TimeDiagnosisforOpen-CircuitedandUnbalanceFaultsin吗ElectronicConvertersConnectedtoResidentialWindSystems[J].IEEETransactionsonIndustrialElectronics,2016,63(3):1781-1792.[58]DuB,WuS,HanS,etal.InterturnFaultDiagnosisStrategyforInteriorPermanent-MagnetSynchronousMotorofElectricVehiclesBasedonDigitalSignalProcessor[J].IEEETransactionsonIndustrialElectronics,2016,63(3):1694-1706.[59]LiuJ,ZhangD,WangM,etal.ACascadedLinearHigh-VoltageAmplifierCircuitforDielectricMeasurement[J].IEEETransactionsonIndustrialElectronics,2016,63(3):1834-1841.[60]胡琳.基于小波变换和人工神经网络的PCA人脸识别方法研究[D].苏州大学,2002.58 致谢致谢本论文是在我的导师邢军教授的耐心指导下完成的。三年来邢老师广博的知识、细致的做事风格、严谨的治学态度让我受益匪浅。本人天资愚钝，有时候不能领会导师说话的精妙之处，邢军导师不厌其烦地一遍遍地指导本人，并提出很多宝贵的建议，诲人不倦的精神令人钦佩。另外，邢老师给了本人许多人生上的指导，教会了本人不少为人处世及其做人的道理，是真正的良师益友。邢军老师在三年中给了本人足够的自由和资源支持，使得本人能够研究自己喜欢的领域，并能够在相关方向做出有益的指导，使得本人没有偏离正确的研究轨道。在论文方面更是逐字逐句地对本人的论文做出指导，提出众多有益的建议。在此对导师三年来的指导表示深深的感谢。在三年的硕士学习期间，很多老师和同学给了我很大的帮助。比如王智森老师深邃的思想在我的人生道路上给了很大的帮助，是我今后人生道路上的榜样。王老师勤勤恳恳、兢兢业业的工作态度以及致力科学、献身科学的精神也让人佩服。在此向王智森老师表示深深地敬意。在论文的后期王心哲老师在百忙之中对该论文进行了审查，在论文的格式及其实验内容上提出了宝贵的建议，并在此表示感谢。感谢我的同学臧克家给予本人的物质上的帮助，借给本人开发板进行开发并帮助绘制PCB电路图进行测试。感谢实验室的学弟为本人打印电路板。感谢我的同学候天印对本文的建议。感谢我的父母和姐姐给了本人物质和精神上的支持，使我能够进行研究生的深造，让我能够顺利地完成硕士学业。希望以后努力工作回报他们，不辜负他们的期望。59 攻读硕士学位期间承担的科研任务与主要成果攻读硕士学位期间承担的科研任务与主要成果作者研究生期间完成的主要论文[1]赵德赞,邢军,王智森.基于嵌入式系统的BP神经网络及其在模拟电路故障诊断中的应用[J].大连工业大学学报,2016(1):57-61.(北大中文核心)(对应论文第三章内容)[2]DezanZhao,JunXing,ZhisenWang.AnalogCircuitFaultDiagnosisBasedonDeepLearning.3rdInternationalConferenceonEnergyScienceandAppliedTechnology.(已录用)(对应论文第四章)[3]ZhaoDezan,XingJun,WangZhisen.Multi-dimensionalneuralnetworkanditsapplicationinfaultdiagnosisofanalogcircuits[C]//.3rdInternationalConferenceonMaterialsEngineering,ManufacturingandControl(ICMEMTC),2016,67:200-204.(已见刊)(对应论文第五章)[4]赵德赞,邢军,王智森.基于图像处理和定位技术的森林防火系统设计[J].消防科学与技术,2015,34(7).(北大中文核心)作者研究生期间参加的科研课题[1]“大规模非平稳多元混沌时间序列分析与建模研究”,国家自然基金(61374154).60
此文档下载收益归作者所有
