基于ETL及GBDT题库并行去重的应用研究

《基于ETL及GBDT题库并行去重的应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ＴＰ３１６２１４０６３０１３分类号．学号ＵＤＣ密级公开工学硕士学位论文基于ＥＴＬ及ＧＢＤＴ题库并行去重的应用研宄硕士生姓名学科专业计算机科学与技术研究方向大数据应用指导教师王正华教授国防科学技术大学研宄生＾二〇一六年一＾月ＥＴＬａｎｄＧＢＤＴｂａｓｅｄＰａｒａｌｌｅｌＤｕｌｉｃａｔｅｐＲｅｍｏｖａｌＭｅｔｈｏｄｆｏｒｕｅｓｔｉｏｎＢａｎｋＱＣａｎｄｉｄａｔｅ：ＪｉｎｇＬｉＡｄｖｉｓｏｒ：Ｐｒｏｆ．Ｚｈ

2、ｅｎｇｈｕａＷａｎｇＡｄｉｓｓｅｒｔａｔｉｏｎＳｕｂｍｉｔｔｅｄｉｎａｒｔｉａｌｆｕｌｆｉｌｌｍｅｎｔｏｆｔｈｅｒｅｉｒｅｍｅｎｔｓｐｑｕｆｏｒｔｈｅｄｅｇｒｅｅｏｆＭａｓｔｅｒｏｆＥｎｇｉｎｅｅｒｉｎｇｉｎＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＧｒａｄｕａｔｅＳｃｈｏｏｌｏｆＮａｔｉｏｎａｌＵｎｉｖｅｒｓｉｔｏｆＤｅｆｅｎｓｅＴｅｃｈｎｏｌｏｙｇｙＣｈａｎｓｈａ，Ｈｕｎａｎ，Ｐ．Ｒ．ＣｈｉｎａｇＮｏｖ，２０１６■

3、独创性声明本人声明所呈交的学位论文是我本人在导师指导下进行的研究工怍及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学位或证书而使用过的材料一。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。：基ＥＴＬ及ＧＢＤＴ并行題库去重的应用研究学位论文題目于／日荦位论文作者签名：心年月：日期／ｆ学位论文臟使用授权书本人完全了解国防科学技术大学有关保留＇使

4、用学位论文的规定。本人授权关部门或机构送交论文的复印件和电子国防科学技术大学可以保留并向国家有借阅内容编＇、有关敎捶；可以将学位论文的全部或部分文档，允许论文被查阅和印或扫描等复制手段保存＇汇编学位论文。库进行检索、缩，可以采用影印（雜财触力。）保密学位论ｘ在輕．＇二ｍ料■ｆ力祕ｓ卿￥？苌卜Ｔｍ：学位论文題目．，日期：４年７月如学位论文作者签名：，＿＾＾／Ｍ２一：：ｙ＞ｌ｛作者指＾名：ｆＩ国防科学技术大学研宄生院硕士学位论文目录ｍｗｉＡＢＳＴＲＡ

5、ＣＴｉｉ第一章绪论１１．１研宄背景１１．２２研宄意义１．３国内外研宄现状３１．４５研宄思路及主要工作１．５论文组织结构６第二章相关技术综述７２．１７搜索引擎架构２＿１＿１搜集８２．１．２８预处理２．１．３查询服务８２．２９网页预处理及正文提取２．２．１网页预处理９２．２．２９网页正文内容提取２．３ＥＴＬ流程１０２．３．１数据清洗１０２．３．２数据转换１０２．３．３数据加载１１２．３．４异常处理１

6、１２．４主流文本去重技术１１２＿４＿１ＭＤ５１１算法２．４．２基于距离的去重方法１２－２．４．３文本去重算法之ＴＦ旧Ｆ算法１２２＿４＿４ｓｉｍｈａｓｈ算法１３２．５本章小结１４第三章ＥＴＬ设计１５、特征提取及ＧＢＤＴ训练模型第Ｉ页国防科学技术大学研宄生院硕士学位论文３．１ＥＴＬ设计１５３．１．１数据仓库１５３．１．２ＥＴＬ的设计１６３．２２０题库特征提取３．２．１文本预处理２０３．２．２特征选择与特征提取２１３．

7、３ＧＢＤＴ２４算法与模型训练３．３．１ＧＢＤＴ算法简介２４３．３．２ＧＢＤＴ算法原理２５使用ＧＢＤＴ模型训练２７３．４去重整体流程图３１３．５本章小结３２第四章ｈａｄｏｏｐ并行计算相似度３３４＿１ｈａｄｏｏＢＢｐ相关知识４．１．１ＨＤＦＳＢＢ４．１．２ＭａＲｅｄｕｃｅｐ３４４＿１＿３Ｈａｄｏｏｐ计算流程３５４．２ｈａｄｏｏｓｔｒｅａｍ３６ｐｉｎｇ４＿２＿１ｈａｄｏｏｓｔｒｅａｍ３６ｐｉｎ实例ｇ４＿２＿２ｈａｄｏｏｓｔ

8、ｒｅａｍｐｉｎ注意事项３６ｇ４＿２＿３ｈａｄｏｏｐｓｔｒｅａｍｎ３７ｉｇ优缺点４＿２＿４ｈａｄｏｏｐｓｔｒｅａｍｉｎ流程图３７ｇ４．３ｈａｄｏｏｐ计算题库文本相似度３８４＿３＿１ｈａｄｏｏｐ文件读写３８４．３．２３８相似度计算４．３．３任务监控４２４＿３＿４优化４２４．４本