面向大数据的增量式学习算法研究

《面向大数据的增量式学习算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码10125专业代码120100硕士学位论文题目面向大数据的增量式学习算法研究姓名段倩倩专业管理科学与工程研究方向信息管理与知识管理所属学院信息管理学院指导教师李爱军二〇一五年三月九日UniversityCode10125MajorCode1201000ShanxiUniversityofFinance&EconomicsDissertationforDoctoralDegreeTitleIncrementallearningalgorithmforlargedataNameDuanQianqianMajorManage

2、mentScienceandEngineeringResearchOrientationInformationandKnowledgeManagementSchoolSchoolofInformationManagementSupervisorLiAijun2015Mar9th学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究所做出重要贡献的个人和集体，均已在文中以明确方式标明。

3、本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保管、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权山西财经大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于保密□，不保密□。在年解密后适用本授权书。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月摘要随着数据规模快速增长，能够处

4、理大数据集的数据挖掘算法得到了广泛的研究和应用，成为目前研究的热点之一。本文主要研究了面向大数据的增量式特征选择和增量式分类学习算法。论文的主要研究工作有以下两个内容:（1）以条件互信息作为度量标准的基础上进行增量式的特征选择算法，主要通过将大数据模拟数据流并划分为数据块，增量对特征子集进行信息度量，提高运算效率，最终得到特征子集。为了验证所改进的增量特征选择算法的有效性，在UCI实验数据集上进行模拟实验比较分类性能。通过实验表明，增量特征选择（I-MIFS）算法在大多数情况下都比其他算法要好，I-MIFS算法是一种适合大规模

5、数据集的特征选择算法。（2）在神经网络集成的基础上研究增量式大数据学习算法：研究了运用改进的Boosting技术完成个体神经网络的生成和最后结果的集成，将分类边界的错分样本作为研究目标，使集成的神经网络可以进行大数据增量学习，通过设计实验，运用UCI数据集进行实验，对比分析可以得到增量大数据学习算法是有效可行的实验结果。研究基于改进的Learn++算法，使神经网络具备了大数据增量式学习的能力，解决了类别不平衡的问题。本文提出的面向大数据的增量式大数据学习算法，能够在有限的存储容量和计算资源情况下，分批处理大数据的分类问题，该算

6、法具有一定的社会实用价值，对以后相关的研究工作也有一定的借鉴意义。关键词：大数据；增量学习；互信息；特征选择；神经网络集成ABSTRACTAlongwiththerapidgrowthofdatasize,abletohandlelargedatasetsofdataminingalgorithmhasbeenwidelyresearchandapplication,andbecomeoneofthehotspotofcurrentresearch.Thispapermainlystudiedthebigdataoriente

7、dincrementalfeatureselectionandclassificationofincrementallearningalgorithm.Papermainresearchworkhasthefollowingtwocontents:(1)withconditionalmutualinformationasthestandardformeasuringbasedonincrementalfeatureselectionalgorithm,throughtheanalysisoflargedatasimulatio

8、ndataflowisdividedintodatablocks,incrementalinformationmeasurementwascarriedoutonthefeaturesubset,improvetheoperationefficiency,eventually