资源描述：
《二〇〇八年六月六日》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、00448174朱磊本科毕业论文本科生毕业论文题目：(中文)大规模网页模块识别与信息提取系统设计与实现(英文)DesignandImplementationofLargeScaleWebTemplateDetectionandInformationExtractionSystem姓名：朱磊学号：00448174院系：计算机系专业：搜索引擎与互联网信息挖掘指导教师：闫宏飞二〇二一年八月十二日3800448174朱磊本科毕业论文3800448174朱磊本科毕业论文摘要本文在已有的基于Dom-Tree和启发式规则的网页信息提取算法的基础上，通过为所有符合W3C规范的Html标签分类，逐个分析各H
2、tml标签所包含的语义信息，细化规则设置，实现了一种自底向上的无信息遗漏的网页分块算法，并在此基础上，利用统计方法得到详细的概率分布数据，实现了文本相似度比较和Bayes后验概率估计两种网页主题内容信息块识别算法，并将其求交，提高了主题内容信息块的识别精确度。上述算法已集成到天网搜索引擎平台的网页预处理模块中，并且在SEWM2008会议中，以这套算法为框架，组织了主题型网页识别和网页主题内容信息块提取两个中文Web信息检索评测项目。在这套算法的基础上，基于天网文件系统与Map-Reduce计算平台，实现了分布式的网页块级别PageRank算法，命名为QuarkRank算法。实际检验表明，该
3、套算法具有很好的适应性与可扩展性，并达到了很高的精度和召回率。关键词：网页分块信息提取SEWM评测PageRank3800448174朱磊本科毕业论文AbstractThispaperhasbeenbasedontheDom-TreeandheuristicrulesoftheWebinformationextractionmethod,byclassifyingalltheHtmltagsinlinewithW3Cstandards,andbyanalyzingsemanticinformationcontainedintheHtmltagsonebyone,itrefinestheru
4、lessetandachievesabottom-uppageblockalgorithmwithoutinformationmissing.Onthisbasis,withtheprobabilitydistributionofdatagettingfromstatisticalmethods,thispaperrealizestwoalgorithmsofinformationblockrecognition,oneistextsimilaritycomparisonandtheotherisBayesposteriorprobabilityestimates,andthefinalr
5、esultcomesfromtheirintersection,whichimprovestheaccuracyofinformationthemeblockrecognition.ThesealgorithmshavebeenintegratedintothepagepretreatmentmoduleofTianWangsearchengineplatform,andinSEWM2008meeting,usingthesealgorithms,weorganizedtwoChineseWebInformationRetrievalEvaluationProject,Whichtwoar
6、etheme-basedWebpageidentificationandblockextractionoftheinformationthemecontent.Inthismethod,basedonTianWangfilesystemandtheMap-Reducecomputingplatform,thispaperreportsthedistributedblock-levelPageRankalgorithm,namedQuarkRankalgorithmhere.Theactualtestshowedthatthesealgorithmsaregoodatadaptability
7、andscalability,andreachaveryhighprecisionandrecall.Keywords:Web-PageBlocking,SEWM,InformationExtraction,Evaluation,PageRank3800448174朱磊本科毕业论文目录第1章序言3第2章相关研究工作52.1基于语义的网页信息提取算法52.2基于视觉的网页分块算法62.3BlockLevelPageRank
