基于GPU并行计算的重复文本检测系统.pdf

《基于GPU并行计算的重复文本检测系统.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、r■●r}l}}If

2、；P。1-}‘t{日；’jⅢ洲111ll川洲川㈣ll!l

3、㈣删Y1853268￡亟￡垒!!竺l￡Q啦乜坠!垒垒Q望⑧Author’ssignature：f、●bUperVlS0r7SSlgnatUre：ExtemalI沁viewers：Ex锄iningConunitteeChai印erson：Ex锄iningCo删nitteeMembers：Dateoforaldefence：浙江大学硕士学位论文独创性声明浙江大学研究生学位论文独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不

4、包含其他人已经发表或撰写过的研究成果，也不包含为获得逝婆基堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：签字日期：年月日学位论文版权使用授权书本学位论文作者完全了解澎姿盘堂有权保留并向国家有关部门或机构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝婆盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后适用本授权书)日学位论文作者签名：导师签名：签字日期：年月日签字日期：年月浙江大学硕

5、士学位论文摘要随着互联网的迅猛发展，网络上的文本信息呈指数级的增长。网络信息的高流动性使得这些文本中存在大量重复的信息。这些重复文本会给信息检索工具带来巨大的挑战，所以如何快速、正确地识别对用户无意义的重复文本是对互联网行业意义重大的一个课题。本文将重复文本检测与GPu并行计算结合在一起，提出了一种基于GPu的并行重复文本检测方法。本文中的方法源于shingling算法，并对shingling算法进行了以下扩展和优化：1．使用B100mFilter结构进行特征存储，建立了快速的预过滤机制，避免了多余的重复文本查找操作。2．借鉴了搜索引擎中倒排索引的思想，加速了重复文本的查找过

6、程。3．基于GPu进行并行除重，加速整个重复文本检测过程。实验表明本文的重复文本检测算法能够快速的识别重复的新闻文本。该方法对于新闻文本的召回率一般，但有较高的精确率。关键词：重复文本检测，近似镜像检测，BloomFilter，倒排索引，GPu，CUDA，网络爬虫AbstractA10ngwiththerapiddevelopmentofIntem瓯thedocumentinformation0nthenetworkhaSbeenincreasingexponentially．Asthehi曲fluidityoftheinformationonthenetwork，there

7、ismassiveduplicateinformationbetween廿1edocumentS．Theseduplicatedocumentswillbeagreatchallengefortheinfo丌nationretrieValtool，therefore，howtodiStinguishtheduplicatedocumentwhichismeaninglesstouserf．ast锄dcorrectlyisasignificanttopicfortheintemetindus时Thisarticlewillcombinetheduplicatedocuments

8、detection柚dGPUpamllelcomputing，proposingaparallelmethodwhichbasedontheGPUtodetecttheduplicatedoc啪ents．7rhemethodofthisanicleoriginates白)mtheshinglingalgorithmandhascarriedonthefollowingexpansionandtlleoptimizationt0theshin91ingalgorithm：1．usetheB100mFilterstllJcturet0storefea_tures，establis

9、hafastpre．filtermechanismtopreventtheunnecessaDrduplicatedocumentsearchoper“on．2．drawonthethou曲tofthereverseindex0fsearchengine，acceleratethedetectionoftheduplicatedocument．3．detecttheduplicatedocumentbasedonGPUparalleIcomputation，accelerateentireduplica