deep web数据抽取和语义标注技术研究

《deep web数据抽取和语义标注技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、江苏大学硕士学位论文DeepWeb数据抽取和语义标注技术研究姓名：杨晓琴申请学位级别：硕士专业：计算机应用技术指导教师：鞠时光20091216江苏大学硕士学位论文摘要Web数据库根据用户提交的请求，将其内容以HTML页面的形式动态呈现出来，这些信息称之为DeepWeb资源。而HTML语言的特点是在Web上发布的，内容多样，形式各异，使得Web上的数据处于杂乱无序的状态，给数据集成系统的建立造成了极大的困难。因此，需要通过各种技术手段将网页中的无结构或者半结构化数据抽取出来。同时为了使抽取获得的数据具有更高的

2、使用价值，这些数据应该被应用程序所理解，必须为其添加语义注释。本文重点分析了DeepWeb数据抽取和语义标注的已有技术，并在此基础上分别提出了一种基于模板的数据抽取方法和一种基于包装器的语义标注方法，最后整合上述研究模块，设计和实现了一个面向求职领域的垂直搜索引擎系统。本文主要研究的内容包括：(1)研究如何从一系列同模板生成的网页中检测出其背后的模板，并利用模板将嵌入的数据自动抽取出来。给出了模板生成问题的形式化描述，提出了一种新颖的模板生成方法，并利用生成的模板从实例网页中抽取数据。与现有方法相比，该方法

3、能适用“列表页面”和“详细页面”两种类型网页。通过在多个领域实例站点上实验，说明新方法在不降低已有方法准确率的情况下能进一步提高抽取的召回率。(2)为了准确且完整地对抽取的数据进行语义标注，提出一种基于包装器的语义标注方法。该方法利用多个标注源进行组合标注，有效解决了单标注源标注率不高问题；同时针对标注不完全问题，提出了利用多个数据源的互补关系进行标注；最后生成高效率的标注包装江苏大学硕士学位论文器对抽取结果自动标注。实验结果证明，该方法提高了标注的准确率和效率。(3)设计和实现了一个面向求职领域的垂直搜索

4、引擎系统，并将上文提出的技术在该搜索引擎上的应用做了分析。实际应用表明，该系统可以取得较好的效果。关键词：DeepWreb，数据抽取，语义标注，垂直搜索，数据集成江苏大学硕士学位论文ABSTRACTAfterreceivingtherequestsubmittedbyuser,webdatabasewillreturnqueryresultsintheformofHTMLpagesdynamically．ThewholeinformationembeddedinthesepagescalledDeepWeb

5、．TheHTMLpagesarepublishedonWebwithvariouscontentanddifferentforms，makingdataonthewebsemi．structuredorevenunstructured．Thesecharacteristicsbringgreatdifficultiestotheestablishmentofthewebintegrationsystems．Therefore，semi—structuredandunstructureddataonthewe

6、bneededtobeextractedthroughavarietyoftechnology．Meanwhile，inordertomaketheextracteddataahighervalue，semanticannotationsmustbeaddedSOthatthesedatacanbeunderstoodbyapplicationprogram．Thispaperanalyzesexistdataextractionandsemanticannotationmethods，thenpropos

7、esanewapproachofdataextractionbasedontemplateandanapproachofsemanticannotationbasedonwrapper．Finally,averticalsearchengineforjobdomainispresentedandaccomplished．Themainworksofthispaperinclude：(1)Theresearchistoautomaticallygeneratetemplatebehindthesetempla

8、te·generatedwebpagesandextractembeddeddata．Thetemplategenerationproblemisformalized．AnoveltemplategenerationmethodispresentedandthegeneratedtemplatesareusedtoextractdatafromIII江苏大学硕士学位论文instancepages．Comparin