第18讲 人工神经网络与机器学习

《第18讲 人工神经网络与机器学习》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、18人工神经网络与机器学习人工神经网络西班牙解剖学家Cajal于十九世纪末创立了神经元学说。20世纪60年代后期“神经科学”细胞与分子水平的研究20世纪90年代开始，脑科学研究中整合性神经网络与人工神经网络神经元的结构神经网络与人工神经网络神经元具有以下的特性与功能信息传递的方向性：在每一个神经元中，信息都是以预知的确定方向传递，即从信息接受部分（树突）传到轴突的起始部分，再传到突触，最后传给另一神经元。这称为神经元的动态激化原则。时空整合：神经元的细胞体能对不同时间由同一突触传入的神经冲动进行整合（称时间整合）和对同一时间由不同突触传入的神经冲动进行整合（称空间整

2、合）。兴奋与抑制：神经元传入冲动的时空整合使细胞膜的电位升高，并超过阈值时产生神经冲动并由轴突输出（称神经元处于兴奋状态）。当传入冲动的时空整合使细胞膜的电位下降，并低于阈值时将不产生神经冲动且无输出（称神经元处于抑制状态）。延时和不应期：神经元在相邻两次神经冲动之间有时间间隔，该间隔称为神经元的不应期。在此期间，神经元不响应、不处理、不传递神经冲动，神经元出现延时。结构可塑性：突触传递信息的特性是可变的。随着神经冲动传递方式的变化，其传递作用可强可弱，所以神经元间的连接是柔性的，这称为结构的可塑性。学习、遗忘和疲劳：由于结构可塑性，突触的传递作用有增强、减弱和饱和

3、，对应于神经元具有学习、遗忘和疲劳功能。神经元经突触与树突连接起来便形成了神经网络。神经网络与人工神经网络人工神经网络是利用人工的方式对生物神经网络的模拟。神经元的M-P模型y输出eeii兴奋性输入抑制性输入………………神经网络与人工神经网络人工神经元结构模型人工神经元的工作过程是：从输入端接收输入信号xi根据连接权值i，求出所有输入的加权和用某一非线性特征函数f进行转换，获得输出yyx1……x212xnns神经网络与人工神经网络神经元互连基本形式…………………前向网络反馈网络层内互连网络互连网络输入层输出层隐层输入层输出层隐层输入层输出层隐层输入层输

4、出层隐层神经网络与人工神经网络人工神经网络在以下方面体现了人脑的基本特性：人工神经网络为广泛连接的巨型系统，它更适合于形象思维的模拟。人工神经网络基于大规模并行协同处理机制，这使得人工神经网络可以较好地模拟人脑神经系统的处理能力。人工神经网络具有和人脑一样的容错和联想能力。人工神经网络具有自学习、自组织、自适应功能。在人工神经网络中，可以通过改变神经元之间的连接权值来有效地模拟人类的学习过程。理论研究表明，选择合适的神经元之间的连接权值可以使人工神经网络以任意小的误差逼近任何连续函数。这意味着神经网络具有很强的自学习能力、自组织能力和自适应能力。神经网络计算机的特点

5、神经计算机又称为第六代计算机，它的研制开始于20世纪80年代后期。美国、欧共体和日本都把它作为一项国家计划项目开发研究，并作为21世纪的关键技术。1988年，美国国防部制定了8年计划，投资4亿美元用于神经网络计算机的研究和开发；1990年，又提出了神经网络的“风暴计划”，计划为期两年，主要研究神经计算机在军事领域的应用。日本，神经计算机作为“新信息处理技术开发计划”中的一项基础技术被高度重视。从1992年起，计划为期10年，投资1000亿日元研究和开发神经计算机。日本在1992年就已成功研制出一部“通用神经网络计算机”。欧共体，作为欧洲信息技术研究开发战略的一环，广

6、泛开展了神经网络计算机研发。神经网络计算机的特点神经网络计算机有下列特征：具有快速、准确的信息处理能力具有自学习、自适应和自组织能力具有近似人脑的信息处理能力适合于智能信息处理神经网络计算机的实现方式神经网络计算机分类神经网络计算机通用神经网络计算机专用神经网络计算机全神经网络计算机前后端神经网络计算机神经网络计算机的实现方式通用神经网络计算机并行广播总线总线接口系统状态物理处理器虚拟处理器互连及连接权值存储器总线接口系统状态物理处理器虚拟处理器互连及连接权值存储器总线接口系统状态物理处理器虚拟处理器互连及连接权值存储器系统控制单元物理处理器……12n神经网络计算机

7、的实现方式前后端神经网络计算机视觉模型(模式识别)听觉模型(语音分析)语音模型(语音合成)运动模型触角模型数值运算文字处理推理指令认知模型(判断、联想)数据压缩图像采集设备图像显示设备语音采集设备语音输出设备机器人…………前端神经网络计算机冯·诺依曼体系结构计算机…………后端神经网络计算机神经网络计算机的实现方式中科院预言神1号神经网络处理机硬件结构神经网络计算机的实现方式全神经网络计算机全神经网络计算机由全硬件实现。该类计算机物理上的处理单元及通讯通道与具体的神经网络模型中的神经元及其连接一一对应，每一神经元及连接都有与之对应的物理器件。近些年来，神经计算机的