主动学习停止准则与评价测度研究

《主动学习停止准则与评价测度研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码：10289分类号：TP181密级：公开学号：139070025江苏科技大学专业硕士学位论文（全日制专业学位）主动学习停止准则与评价测度研究研究生姓名杨菊导师姓名于化龙申请学位类别工程硕士学位授予单位江苏科技大学专业领域计算机技术论文提交日期2015年12月25日研究方向机器学习论文答辩日期2016年3月26日答辩委员会主席段先华评阅人盲审盲审2016年3月26日分类号：TP181密级：公开学号：139070025工程硕士学位论文主动学习停止准则与评价测度研究学生姓名杨菊指导教师于化龙副教授江苏科技大学二O一六年三月AThesisSubmittedinFulfillment

2、oftheRequirementsfortheDegreeofMasterofEngineeringStudyofstoppingcriteriaandperformanceevaluationmetricsinactivelearningSubmittedbyYangJüSupervisedbyYuHua-longJiangsuUniversityofScienceandTechnologyMarch,2016江苏科技大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体

3、已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：年月日摘要主动学习是机器学习领域中最为活跃的研究方向之一，其旨在花费尽可能少的人类标注代价获得性能较高的分类模型。因此，在主动学习过程中，能否定义一个合适的停止准则对主动学习是否能发挥出最大效应具有重大意义。此外，在对一种主动学习算法的性能进行评估时，往往需要定义一些定量的评价测度，而这正是前人工作所忽略的问题。故本文主要针对上述两类问题展开研究。本文首先介绍了几种常用的主动学习停止准则，进而针对现有的选择精度主动学习停止准则仅适用

4、于批量样例标注场景这一缺点，提出了一种改进的适用于单轮单样例标注场景的选择精度停止准则。该准则通过监督自本轮起前溯的固定学习轮次内的预测标记与真实标记间的匹配关系，对选择精度进行近似的评估计算，匹配度越高则选择精度越高。继而利用滑动时间窗实时监测该选择精度的变化，若当其高于事先设定的阈值时，则停止主动学习算法的运行。以基于支持向量机的主动学习方法为例，通过6个基准数据集对该准则的有效性与可行性进行了验证，结果表明当选取合适的阈值时，该准则能找到主动学习停止的合理时机。该方法扩大了选择精度停止准则的适用范围，提升了其实用性。目前，适用于主动学习的算法多种多样，但这些主动学习算法都共用

5、一个统一的性能评估测度，即学习曲线。学习曲线在整个主动学习迭代过程中能够很好的区分分类模型间的性能差异，因此大多数文章都使用学习曲线作为比较不同分类算法性能的标准。但是对于两个分类性能相近的主动学习算法，很难从学习曲线的分布上观察到性能变化的细微差异。针对这一问题，通过深入挖掘学习曲线中所隐藏的信息，提出了四种定量的主动学习性能评估测度，分别为学习曲线下的面积、对数化的学习曲线下的面积、平均梯度角以及对数化的平均梯度角。在比较基于同质分类器的主动学习算法时，这四种度量测度均能够保证评估结果的公正性；而对于异质的分类器，在比较不同的主动学习算法性能时，平均梯度角以及对数化的平均梯度角

6、比另外两种评估测度可能更加适用。此外，对数化的学习曲线下的面积与对数化的平均梯度角则更关注于主动学习初始学习阶段的性能提升速率。通过在9个数据集以及多个基准主动学习算法上的大量实验验证了上述四种测度的实用性。关键词：主动学习；停止准则；学习曲线；性能评价测度IAbstractActivelearning,whichisoneofthehot-spotsinthefieldofmachinelearning,aimstominimizetheamountofhumanlabelingeffortrequiredforasupervisedclassifiertoachieveasat

7、isfactoryperformance.Inactivelearningapplications,thedesignofstoppingcriterionisveryimportantandpracticalissueduetoitmakeslittlesensetocontinuetheactivelearningprocedureuntilallunlabeledsampleshasbeenlabeled.Inaddition,asweknow,wealways