机器学习第04讲

《机器学习第04讲》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1机器学习——神经网络智能工程研究室计算机科学与技术学院2TrainingaClassifier>classifierclassifierclassifierclassifierclassifierclassifierClassifier>MarksNote:Thetestimagedoesnotappearinthetrainingdata.Learning=Memorization4ClassifierInFeatureS

2、pace,AfterTrainingrepresentationconcept(truth)=trainingdata=Marks=notMarks=testdata(Marks)5神经网络6神经元生物神经网络：BiologicalNeuralNetwork（BNN）神经元：neuron神经元经突触传递信号给其他神经元（胞体或树突）1011个神经元/人脑104个连接/神经元神经元基本工作机制：状态：兴奋与抑制互联，激励，处理，阈值.9神经元状态转移函数的类型10神经网络的拓扑结构典型应用或者特征：模式分类、函数回归(b)神经认知机，用来存储某种模式序列，系统辨识(c)神经元可以分组进行激

3、励相应(d)网络最终进入一种动态平衡状态，可能是周期振荡或者混沌状态11感知器:单层前馈神经网络输入层输出层12感知器:多层前馈神经网络隐层3-4-2Network输入层输出层13感知器的学习规则(1)Err=T–OO是预测得到的输出T是实际值,即教师信号WjWj+α*Ij*ErrIj是第j个输入节点的输入值α是一个常数,表示学习率OWI14感知器学习过程随机在区间(0,1]内选取权值W将样本数据中的输入值输入到感知器的输入节点得到网络的输出值O，根据学习公式,由O与T的差，即误差信号来调整网络权值W如果误差小于给定阈值或运行次数达到限定次数，则停止；否则转2，再次运行15一个简单例子样

4、本:x=0,y=0,T=0x=0,y=1,T=0x=1,y=0,T=1x=1,y=1,T=100110.10.1=-1xyvO初值:w1=0.1,w2=0.1,w0=-1取步长α=0.1,则Δw=α*Ij*(T-O)16一个简单例子x=0,y=0代入:v=0*0.1+0*0.1-1=-1;O=0;Err=T-O=0W1=W1+α*I1*Err=0.1;W2=W2+α*I2*Err=0.1;W0=W0+α*1*Err=-1;00110.10.1=-1xy-100017一个简单例子x=0,y=1代入:v=0*0.1+1*0.1-1=-0.9;O=0;Err=T-O=0W1=W1+α*I1*Er

5、r=0.1;W2=W2+α*I2*Err=0.1;W0=W0+α*1*Err=-1;0.10.1=-10011xy-0.900118一个简单例子x=1,y=0代入:v=1*0.1+0*0.1-1=-0.9;O=0;Err=T-O=1W1=W1+α*I1*Err=0.1+0.1*1*1=0.2;W2=W2+α*I2*Err=0.1+0.1*1*0=0.1;W0=W0+α*1*Err=-1+0.1*1*1=-0.9;0.10.10011xy100.2=-0.9-0.9=-1019一个简单例子x=1,y=1代入:v=1*0.2+1*0.1-0.9=-0.6;O=0;Err=T-O=1W1=W1+

6、α*I1*Err=0.2+0.1*1*1=0.3;W2=W2+α*I2*Err=0.1+0.1*1*1=0.2;W0=W0+α*1*Err=-0.9+0.1*1*1=-0.8;0.2=-0.90011xy110.3=-0.8-0.600.20.120一个简单例子x=0,y=0代入:v=0*0.3+0*0.2-0.8=-0.8;O=0;Err=T-O=0W1=W1+α*I1*Err=0.3+0.1*0*0=0.3;W2=W2+α*I2*Err=0.2+0.1*0*0=0.2;W0=W0+α*1*Err=-0.8+0.1*1*0=-0.8;0.30.2=-0.80011xy-0.800021一

7、个简单例子x=0,y=1代入:v=0*0.3+1*0.2-0.8=-0.6;O=0;Err=T-O=0W1=W1+α*I1*Err=0.3+0.1*0*0=0.3;W2=W2+α*I2*Err=0.2+0.1*1*0=0.2;W0=W0+α*1*Err=-0.8+0.1*1*0=-0.8;0.30.2=-0.80011xy-0.600122一个简单例子x=1,y=0代入:v=1*0.3+0*0.1-0.8=-0.5;O=