感知器算法研究

《感知器算法研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、感知器算法研究感知器学习算法研究申芳林，刘建伟,罗雄麟(中国石油大学(北京)自动化研究所，北京102249)(shenfanglin@hotmail.com)摘要：感知器学习算法易于实施，容易计算出样木可分和不可分的相关损失边界，而且能转化为批处理算法；本文首先介绍了知器学习算法及其变种；并且讨论各种感知器学习算法的误差界理论，从理论上给出各种算法的误差界；最后介绍了感知器学习算法的应用和未解决的问题。关键字：感知器；错误界；权值;赌博机算法；强化学习中文分类号:P181文献标识码:AReserchonpercep

2、tronlearningalgorithmSHENFang-lin丄IUJian-wei,LU0Xiong-lin(ResearchInstituteofAutomation,ChinaUniversityofPetroleum,Beijing102249,China)Abstract:Theperceptronlearningalgorithmiseasytoimplement;andcancalculaterelativelossboundsforseparableandinseparablecases;fur

3、thermore,itcanbeeasytoconverttoawell-performingbatchalgorithm.Inthispaper,wefirstintroducesomeperceptronalgorithmandtheirvariations;Meanwhile,wealsostudytheirmistakeboundsandworkouttheirbounds;Atlastweshowtheirmisc-application,andgiveopenproblems・Keywords:perc

4、eptron;mistakebound;weight;banditalgorithm;reinforcementlearning感知器算法[1-4](PerceptronAlgorithm)是线知器算法及其变种，而且给出了各种算法的原理和伪代码；在第二部分里我们讨论了感知器算法的错误界，并見给出了几种常见感知器算法的错误界；在第三部分里，我们讨论了感知器算法的在线优化、强化学习和赌博机算法的应用；最后我们讨论了感知器算法未解决的问题。性分类器，由Rosenblatt提出，主耍功能是通过设计分类器来判别各个样本所属的

5、类别;感知器原理来自于最简单的神经元模型自适应特性，它有n个输入(xl,x2,,xn)和一个输出yW{+1,・：L}。输入输出通过[5]y=sign{(w.x)-b}相连，其中sign是符号函数，w是权重，b是偏置。权重的更新采用加、减法，当yt(wt.xt)>0时，wt+l=wt；当yt(wt.xt)<O时，w=w+yxo感知器算法通过1.主要算法冃前主耍的感知器算法主耍有平均感知器(Averaged-Perceptron)>信任权感知器(Confi-denceWeighted)>表决感知器(Vote

6、dPerceptron闲被动主动感知器(PassiveAggressive)>表决算法(TheWeightMajority)>winnow算法。以下，我们分别简称为AP、CW、VP、PA^WM和winnowo对训练样本集的学习，从而得到判别函数权值w的解,产生线性可分的样本判别函数。该算法的优点是不需要对各类样本的统计性质作任何假设，属于确定性方法。“赏罚”概念[6,7][5]过程贯穿于感知器算法的始终，是感知器算法的一个主要特点。其基本是对正确分类的样本“赏”，即权向量w不变；对错误分类的样本“罚”，即将权向量w

7、加上一个正比于样本X的分量，使分类超平面向X向量方向靠近。在本篇文章里，我们首先介绍了几种常用的感收稿日期：2008・12-22o1.1感知器算法Rosenblatt的感知器算法[89]是非常好的二分类在线算法。该算法存在一个分离超平血，超平面由n向量weR参数化并且用来预测。输入一个样本?=w,x预测样本的标x,感知器算法通过计算y作者简介:申芳林(1983J,男，河南驻马店人，硕士研究生，主要研究方向:机器学习;刘建伟(1966-),男，新疆石河子人，副研究员，博士，主耍研究方向:数据挖掘、机器学习、非线性控制

8、;罗雄麟(1963・)，男，湖南汩罗人，教授，博士，主要研究方向:控制理论与应用、复杂系统检测、控制与优化、模式识别与智能系统、系统工程。1?)来实现。？。最终的预测标签通过计算sign(y签yInitialization:(wl,w2,,wnFor=1,2,,n)=算法仅仅在预测错误时修止权值w。如果止确的标签是y=l,那么权值修正为w+x；如果y=-l