基于gpu索引的构建方法地地研究

《基于gpu索引的构建方法地地研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringResearchonApproachtoBuildingTextIndexBasedonGPUCandidate:XingKeMajor:ComputerApplicationTechnologySupervisor:GuXiwuHuazhongUniversityofScience&TechnologyWuhan430074,P.R.ChinaJanuary,2012独创性声明本人声明所呈交的学位论文是我个人在

2、导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用

3、本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要随着互联网飞速的发展，网络信息量不断增加，为提高实时检索的效率，需要一种快速的索引方法。就搜索引擎而言，对大规模文本构建索引涉及较大的数据量和计算量，会消耗大量计算资源，如何实现海量文本数据高性能索引，是搜索应用中不可或缺的议题。为提高索引构建的性能，采用了GPU协作计算的模式，利用GPU高效并行计算能力来解决密集计算的问题。为充分利用CPU和GPU的计算优势，分析了索引构建的机制，提出了一种加速索引构建的CPU、GPU的任务协作模型，分解文本

4、索引各个过程，将文本解析、词条索引等可并行化任务交给GPU完成，而读写文件、索引合并等任务则由CPU串行完成。为提高多线程并行计算的效率，根据GPU内存结构特点，设计了基于哈希表的并行索引结构，对每个词条增加了线程独立的频率统计区，在构建索引时，索引词条按不同的索引结构进行分类管理，以减少内存开销。根据词条类型的不同，设计了基于哈希表的立即索引的并行算法，和基于合并的并行索引算法，包括并行词频统计和索引转换的方案。最后，针对GPU并行计算的特点，在并行粒度和指令级进行了优化，进一步提高了索引构建的效率。实验表明，设计的并行索引构建方案适合GPU计算，相应的优化策略也取得了较好的效果

5、，综合比较，GPU并行索引的效率是CPU的五倍。因此，GPU能够提高文本索引构建的效率。关键词：倒排索引，图形处理器，统一计算设备架构I华中科技大学硕士学位论文AbstractWiththerapiddevelopmentofInternet,webinformationincreasesdramaticallyeveryday.Duetothelargeamountofdataandcomputation,itcostsalotoftimeforsearchenginestoindexthelargelarge-scaletext,whichreducesthesearching

6、performance.Sothereisaneedtoproposeafastindexingapproachtoimprovetheefficiencyofreal-timesearch.Inthisthesis,afastindexingapproachforlarge-scaletextisinvestigatedbycombingthetechnologyofGPUparallelcomputingandtextindexing.First,acollaborationmodelisintroducedforhigh-performanceparalleltextinde

7、xing.Inthismodel,GPUisinchargeofindexconstructionandtheCPUisresponsibleforcontrolling.ApipelineworkmodeisfurtherdesignedtomakefulluseofthepowerofbothCPUandGPU.Toimprovetheefficiencyofparallelcomputing,anindexstructurethatsuitsthememorys