基于crf的中文命名实体识别方法研究

《基于crf的中文命名实体识别方法研究》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、图书分类号UDC注-1271TP391.1密级非密硕士学位论文基于CRF的中文命名实体识别方法研究王峰指导教师（姓名、职称）申请学位级别专业名称王召巴教授工学硕士检测技术与自动化装置论文提交日期论文答辩日期学位授予日期年年年月月月日日日论文评阅人答辩委员会主席注1：注明《国际十进分类法UDC》的分类年月日原创性声明本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下，独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究

2、作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人承担。论文作者签名：日期：关于学位论文使用权的说明本人完全了解中北大学有关保管、使用学位论文的规定，其中包括：①学校有权保管、并向有关部门送交学位论文的原件与复印件；②学校可以采用影印、缩印或其它复制手段复制并保存学位论文；③学校可允许学位论文被查阅或借阅；④学校可以学术交流为目的，复制赠送和交换学位论文；⑤学校可以公布学位论文的全部或部分内容（保密学位论文在解密后遵守此规定）。签名：日期：导师签名：日期：中北大学学位论文基于CRF的中文

3、命名实体识别方法研究摘要作为文本信息中的基本信息元素，命名实体是正确理解文本的基础。命名实体识别就是将文本信息中规定的实体识别出来，它在自然语言处理中是一项基础性的工作，在信息抽取，机器翻译，自动问答等领域有着广泛的应用。本文以中科院网络科技监测平台建设为背景，采用条件随机域模型（CRF），研究中文命名实体的识别方法。本文通过分析目前命名实体识别的研究现状，详细阐述了近些年来国内外命名实体识别的评测活动；在分析了马尔克夫模型和最大熵模型的基础上，确立了基于条件随机场模型的研究方案。本文在条件随机场的预处理中，以字的方

4、式作为输入标准，从字的角度来切割文本，以获得更多文本信息的上下文特征；在模型训练中，对不同的模板对文本进行了识别，得到了一个相对较为优化的训练模板，并在训练语料中加入词性的外部特征，通过实验表明，该方法可以弥补训练规模的不足，在一定程度上提高了实体的识别效果。本文针对中科院网络科技监测平台建设的要求，利用SIGHAN2006MSRA的语料库，通过对不同模板的测试，采用模式学习方法对不同词的粒度实体进行识别，自动识别出语料中的命名实体；通过对测试语料的识别，获得实体识别的详细信息，并与正确的人工标记结果进行比较，结果说明

5、了采用CRF进行命名实体识别可以取得了不错的识别效果。论文的研究成果为日后实现监测平台准确的进行实体识别打下基础。关键词：条件随机场命名实体特征模板标注集中北大学学位论文ResearchonChineseNamedEntityRecognitionBasedonCRFAbstractNamedEntityRecognitionistorecognizespecificentitiesintext.Asthebasicinformationunitoftext,NamedEntityisessentialtothecor

6、rectunderstandingofatext.NamedEntityRecognition(NER)isabasictaskinnaturallanguageprocessingresearch,whichiswidelyusedinmachinetranslation,informationextraction,automaticsummarizationandsoon.Sohowtoidentifynamedentityhasgreattheoreticalandpracticalsignificance.In

7、thispaper,firstly,itinvestigatedandsummarizedthecurrentstatusoftheNameEntityRecognition.Andthen,itintroducedtheevaluationstrategyforNER,whichanalyzedthecurrentmethodoftheNameEntityRecognition.Detaileddescriptionoftheconditionalrandomfieldmodel,conditionalrandomf

8、ieldisastatisticalmachinelearningmethods,ithasgoodperformanceinlabelingandfragmentingthesequence.Traininginthemodel,weaddedthepartofspeechastheexternalcharacteristics