Lec.1.04 - Feedforward neural network - multilayer neural network

《Lec.1.04 - Feedforward neural network - multilayer neural network》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、NeuralnetworksFeedforwardneuralnetwork-multilayerneuralnetwork2)1)1)12ARTIFICIALNEURON22xxx,,,Topics:0capacityofsingleneuron00•Can’tsolvenonlinearlyseparableproblems...010101(x1(x1(x1XOR(x1,x2)XOR(x1,x2))2x1,1)12x(x?,D00AN0101(x1AND(x1,x2)•...unlesstheinputistransformedinabetterrepresen

2、tationFigure1.8–ExempledemodélisationdeXORparunréseauàunecouchecachée.Enhaut,degaucheàdroite,illustrationdesfonctionsbooléennesOR(x1,x2),AND(x1,x2)etAND(x1,x2).Enbas,onprésentel’illustrationdelafonctionXOR(x1,x2)enfonc-tiondesvaleursdex1etx2(àgauche),puisdeAND(x1,x2)etAND(x1,x2)(àdroite

3、).Lespointsreprésentésparuncercleouparuntriangleappartiennentàlaclasse0ou1,respectivement.Onobserveque,bienqu’unclassifieurlinéairesoitenmesurederé-soudreleproblèmedeclassificationassociéauxfonctionsORetAND,ilnel’estpasdanslecasduproblèmedeXOR.Cependant,onutilisantlesvaleursdeAND(x1,x2)et

4、AND(x1,x2)commenouvellereprésentationdel’entrée(x1,x2),leproblèmedeclassificationXORpeutalorsêtrerésolulinéairement.Ànoterquedanscederniercas,iln’existequetroisvaleurspossiblesdecettenouvellereprésentation,puisqueAND(x1,x2)etAND(x1,x2)nepeuventêtretouteslesdeuxvraiespourunemêmeentrée.ont

5、étéentraînésdanslecadredestravauxdecettethèsecontiennentquelquesmilliersdeneuronescachés.Ainsi,latâchedel’algorithmed’apprentissageestdemodifierlesparamètresduréseauafindetrouverlanaturedescaractéristiquesdel’entréequechaqueneuronedoitextrairepourrésoudreleproblèmedeclassification.Idéaleme

6、nt,cescarac-•gexp((a)=reclin(a)exp(a)•gexp(2a)=max(0(aa))=tanh(exp(1•a)g,a(exp(a))=aa)=)aexp(2exp(aa))+exp(•1g(ahugo.larochelle@usherbrooke.ca)=sigm(a)=exp(2aa)+1)=1•g(a)=tanh(a)=•gexp((aa)=tanh()+exp(a)=exp(2a)=a)+1exp(a)+exp(•ga()a=)=exp(2a•a)+1•g(ha(x)=sigm()=g(a(x))a)=hugo.

7、larochelle@usherbrooke.ca1+exp(a3)•g(a)=max(0•,a•g)(ga()=max(0·)b•,a)g(a)=max(0,a)11+exp(a)•g(a)=max(0•g,a(a))=max(0NEURALNETWORK•g(a)=sigm(•,ag(a))=sigm(aa)=)=1+exp(a1)September6,2012⇣exp(a)(1)exp(P1+exp((1)a)(1)•g(a)=reclin(•a•)=max(0g(Wa)=reclin((1),ab)(1)ax)=max(0h(x)w