基于主动学习的中文分词方法研究.pdf

《基于主动学习的中文分词方法研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、．‘去？＼Ｖ，？韦轉—￣——＿＇？－－－：？？－六－１０２９３公巧：、单位代码：密级：Ｖ－—三ｒ之峡乂节＇崇細ＶＭ脅雀＾據写皮垂＇ｉ．硕女＃像儉；ｆ屬撫ｉｊ＇．苗非繁ｉＲｉ査芒］攀，＇＇．．＾Ｋ：．参；ｋＨＷ與、｜《祭简／式烏．一－１‘－々？叩一’■－．ｔ，乂．Ｖ、．．请啦聲。：＜＊＜－、．—占论文题目：基于主动学习的中义分词方法石开究＇．？，？、！－‘、？‘＇＇－：－ｒ．令，葦輪：Ｖ、．、导‘＇一＇：

2、涕叫鄉．饼；；Ｖ；．‘＇．－＞：＇：ｖ巧；２０４３１；Ｖ，＞、／；号１０１１１Ｔ学＼’＇’？＇ＩＩ’：‘尸＼’一冷Ｖ话’Ｉ嗦：、姓一；ｓ名梁喜涛＼气＇’＾＾＾■导师一＾於＾；．．義讀带４獻学科专业计算化应用技术＿＿１；＇、处理硏究方向智能信肩■丢丢．編藏違軒？工学硕击．；：＾申请学位类别＿｛聋茜：：鱗梦＞文２０１５／３／２论文提交日期’．＇、Ｊ減ｃ，．在／心．．：’’‘．．．产ｒ．皆聲！喔妾；起‘－－＇鑽；，叛；詔店縱古

3、ｆ的Ｖｖ；＇、＇立＾＇Ｃ屯淨姆Ｊ．哨．－；一真苗為吃：ChineseWordSegmentationBasedonActiveLearningThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofEngineeringByLiangxitaoSupervisor:Prof.GuLeiMarch2015摘要中文分词是中文信息处理领域内的一个重要课题，传统的分词方法多基于统计模型，尽管可以取得不错的效果，但是统计模

4、型依赖大量有标注样本，具有人工标注样本代价高的缺点。主动学习方法在解决分词问题时会根据处理进程，选择最合适的少量的样本进行人工标注，从而达到通过使用大量无标注样本来提高分词效果的目的。因此，本文将主要研究基于主动学习的中文分词方法。本文首先介绍了中文分词的研究背景、研究意义和常用的分词方法。接下来介绍了条件随机场模型和主动学习方法，并对如何把条件随机场模型和主动学习方法引入到分词领域中做了阐述。最后重点介绍了本文提出的三种基于主动学习的中文分词方法:1.提出了基于委员会投票的主动学习分词方法。该方法的核心思想是通过集成学习方法来帮助构建

5、委员会，选择委员会投票分歧度最大的样本作为最有价值的样本进行人工标注。2.提出了一种基于分层选择策略的主动学习分词方法。该方法的主要特点是在不确定性选择方法基础上，把分词过程中的专有字符与其它汉字字符分开分别进行样例选择，另外该方法还可以通过计算实例间的差异性来解决重复标注问题。3．提出了一种基于邻域规则的主动学习分词方法。该方法的与众不同之处是利用未标注样本的邻域集合熵值来进行样例挑选，并且利用计算未标注样本同训练集合的欧氏距离来增加样本集合的多样性。关键词:自然语言处理，中文分词，主动学习，选择策略IAbstractChinesew

6、ordsegmentation(CWS)isanimportanttaskinChineselanguageprocessing.Mostoftraditionalsegmentationmethodsarebasedondictionaryandstatisticalmodel,buttheyallneedalargenumberoflabeledsamples.Activelearningcanusetheselectionstrategytochoosesomemostvaluablesamplesfromabundantunla

7、beledsamplesinthetrainingprocess,andemploythesechosensamplestoimprovetheperformanceofChinesewordsegmentation.SoactivelearningisstudiedandsomeChinesewordsegmentationalgorithmsareproposedinthisdissertation.Inthisdissertation,firstly,theresearchbackgroundandmethodsofCWSisin

8、troduced.Secondly,someactivelearningschemesarereviewedandsometheoreticalresearchissuesandapplicationsat