基于云平台的特征选择并行化研究.pdf

《基于云平台的特征选择并行化研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、Ｖｘ．也ｖ＇ｌＶ＇一；ｐ－－ｖ＇Ｉ．Ｗ－．：单餓＾密奶＇的妾，．ｒ．＇：！５八；．－．ｖＩ产到＇．－．：／、＾－＇’－‘＝ｆ．．乾．；．诞＼＼為＾ｉ雀￥若ｒ證遍咬ｎ＼脅＇Ｙｒ、，ｖ妥萨苗．；＇．皮ｔ／女化矣考緣化ｒ巧ｔ乐＇：、．瑞．片喷，．．／義‘梦；＇巧．１１＇捂踩斗ｐ‘苗％巧＇岂，每黃／；＾：＼ｗ、、、．．：、ｖ．＞．；：Ｖ巧ａ曹＇７．？：．ｒ‘＼：；扛Ｖ．’：Ｖ．产＾．．Ｖ论＾麗目／基巧平舗雜隱怖研巧，，，接．：专．：学号。誦願．．．？Ｖ．／：姓名？；齡：資批．Ｎ藏．

2、．．增．：系．导师＾巧ｓ授＾ｖ＾．‘心，．．ｂ＞，ｐ专业学燃＾工ｉ±■香？轉Ｖ，；，．＾．．‘类型全制ＸＩ；．专业＜纖４软二程＾濟，ｖ．；．ｙ论文提期ｆ侣月＾．ｖＩ．．．ｆ－為．ｖＷ‘Ｔ＞．－．．苗馨．Ｊ＇ｖ■１：．ＡＦ．＞＞Ｖ■．．．１：．３．。．片．４：：／．＃；，：＃＇，活．’ｖ．：ｖ；Ｖ；．嶺．：．Ｖ．／＇．－ｖ八：‘／＂：‘ｉ；＼．Ｊ＂ｉ南京邮电大学学位论文原创性声明尽本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成

3、果。我所知，除了文中特别加１＾标注和致谢的地方外，论文中不包含其他人己经发表或撰写过的研巧成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。一与我同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。一本人学位论文及涉及相关资料若有不实，愿意承担切相关的法律责任。研究生签名；ｆ．Ｐ日期：兴，ｒ６１／＾．ｌｂｊ南京邮电大学学位论文使用授权声明本人授权南京邮电大学可Ｗ保留并向国家有关部口或机构送交论文的复印件和电子文档；允许论文被查阅和借阅；可［＾１？将学位论文的全部或部分内容编入有关数据库进行检索

4、；可采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质论一文的内容相致。论文的公布（包括刊登）授权南京邮电大学研充生院办理。涉密学位论文在解密后适用本授权书。研巧生签名：著、＇尸）导师签名：日期；如．ｗｋｊFeatureSelectionParallelizationBasedonCloudPlatformThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofMasterofEngineeringByLuJiangSup

5、ervisor:Prof.LiYunMarch2015摘要机器学习是人工智能领域的研究热点，并且在产业界也受到极大的关注。随着大数据时代的来临，由于大数据本身的复杂特性，使得传统用来处理小数据的机器学习算法无法发挥作用甚至不可行。因此，研究大数据环境下的机器学习算法成为学术界和产业界共同关注的焦点。而特征选择作为一种对高维数据进行预处理的必不可少的手段，其也面临如何随着数据规模的爆炸性增长，使得传统特征选择算法能够满足当前高维大规模数据的处理要求。随着云计算的兴起，利用并行化计算来处理大规模数据是目前最流行的方式之一。因此，本论文将利用云平台实现特征选择的并行化，从而有效处理高

6、维大规模数据。本论文的主要研究内容包括以下两个方面：第一，采用Google的MapReduce编程模型，设计了一种分布式的基于局部学习的特征选择算法D-logsf，算法主要涉及两个方面的并行化任务，即样本间相似度计算并行化和梯度优化算法的并行化。同时在多个现实和合成数据集上的实验表明分布式特征选择算法D-logsf具有较好的可靠性，且与传统特征选择算法Logsf相比可以获得接近线性的加速比，同时可以有效处理大规模数据集。第二，开发基于B/S的特征选择并行化系统RELIEFSYS。本系统以数据为中心，设计了一个数据安全的、界面友好的、可交互的、可扩展的和可维护的特征选择并行系统。

7、本系统最大的特色是提供特征选择算法并行可视化操作。此外，采用以数据为驱动的系统开发模式，提供其它数据分析算法的注册接口，从而保证系统能有非常好的算法扩展性。关键词:特征选择，局部学习，MapReduce，并行化，系统开发。IAbstractMachinelearningisaresearchhottopicinthefieldofartificialintelligence,italsohasattractedgreatattentionintheindustry.However,asthe