基于错误驱动汉语词性标注的的研究

《基于错误驱动汉语词性标注的的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、北京邮电大学硕士论文基于错误驱动的汉语词性标注研究摘要随着互联网文化和经济的飞速发展和信息爆炸时代的到来，能够在短时间内处理大规模文本且从中挖掘和抽取语言信息的计算语言学快速地成长起来。语料库的规模扩大和切分标注水平的提高成为迫切的需要，以计算语言学为主的多语言语料库切分和标注技术越来越受到语言学专家的重视。要使语料库真正为提高自然语言处理的水平服务，就必须对语料库进行深度挖掘和精细加工。词性是对语言进行语法、语义、语用分析的基础和必要前提，如何解决语料库的词性标注问题仍是当今的一项重要的基础工作。汉语词性标注的成果包括基于统计

2、和规则两种处理方法。语言学工作者们常用的统计算法模型，如最大熵模型、隐马尔可夫模型和决策树分析等进行大规模的词性切分和标注，再结合规则模板或者手工编制的排歧词典对经过统计算法训练的模型进行择优、排歧，从而达到较为理想的结果。本文在介绍了提出的汉语词性标注方案也是规则和统计结合的方法，首先在极大熵标注模型的基础上给出了一个汉语词性标注方案，并提出基于兼类词错误学习的思想。该方案有别于以往单纯依靠算法和规则模板的常规方法，从原标注系统的标注错误样本中获取上下文，利用上下文信息形成的概率特征函数计算出容易出错的词的特征概率。另外，提出

3、在统计的基础上加入外部知识库和分类器的联合修正算法，较好地完成了针对兼类词复杂类项的标注任务，缩短了模型运行占用的时间。关键词：汉语词性标注兼类词错误驱动最大熵北京邮电大学硕十论文基丁．错误驱动的汉语词性标注研究ERROR．DRIVENCHINESEPART-OF．SPEECHANNOTIAIONREARCHIntherecentyearS，withtherapiddevelopmentand即la唱ement0ftheChineseC0巾usand锄otationtecllllolo百es，ala唱escaleof1angIl

4、agcblockbaSedatnationality1anguage加ddi疏renttypesoftaggingfcatIlremustersappeared．Theresearchesofthedeep-pfocessiIlgmethods柚dreleVanta190rithmsareinneedfortheadvancementofNatIlreLanguageProcessing．Justlil【ethcotherl柚guage，thefirststeptoapproach(Ihinesec0叩llsl【Ilowledg

5、cispart—of-speechtaggillg．Annotationsystemswhichcanmnonthe∞mputerSsupportsthecomputati伽allinguisticswhichhaveattractedwideconcemsfromtherelatedfieldssuchasAnificialIntellegence．There盯eseVeral锄otatingsolutionswhichmostlybaSestatisticalalgorithmandmleswhichwaswrittedma

6、nuaIly．Such勰theMaxentEntropymodelandHiddenMarkoVModelRule，whichintegrateddi此rentmles—templatescanproVidetaggingt0IolsforNatualLaguage．ButthetaggingresultSarenotgoodenoughtoapplytothedeepleVelannotationiIlthefealtext．Accordingtothestatiscalexampleswhicharecollected舶mm

7、ultiwordsannotationerrorresultsiIlsystem，thisessaywilliIltroducethreepansofappendingmodelsforPart-of-SpeechtaskbasedatMaxentEntropymodel．Anewerro卜basedmethodcomposedofeVentswithfcatureprobabilitywhichwascalculatedinadvancedwasheldouttochoosefeaturestemDlatesformulti—

8、word．北京邮电人学硕士论文基丁错误驱动的汉语词性标注研究l【EYWoImenor·drivenpan-of二speechannotationmaxententropy独创性(或创新性)声明本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。