基于统计学习模型的句法分析方法综述

《基于统计学习模型的句法分析方法综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、万方数据第27卷第3期2013年5月中文信息学报JOURNALOFCHINESEINFORMATl0NPROCESSINGV01．27．No．3May．2013文章编号：1003—0077(2013)03—0009—11基于统计学习模型的句法分析方法综述吴伟成1，周俊生1，曲维光1’2(1．南京师范大学计算机科学与技术学院，江苏南京210023；2．南京大学计算机软件新技术国家重点实验室，江苏南京210023)摘要：句法分析是自然语言处理领域中重要的基础研究问题之一。近年来，基于统计学习模型的句法分析方法研究受到了广泛关注，多种模型与算法先后被提出。从采用的学习模型和算法类型着手，该文系

2、统地对各种主流和前沿方法进行了归纳与分类，着重对各类模型和算法的思想进行了分析和对比，并对中文句法分析的研究现状进行了综述；最后，对句法分析下一步的研究方向与趋势进行了展望。关键词：句法分析；统计学习模型；生成式模型；判别式模型；移进一归约决策；面向数据的句法分析中图分类号：TP391文献标识码：AASurveyofSyntacticParsingBasedonStatisticalLearningWUWeichen91，ZHOUJunshen91，QuWeiguan91’2(1．SchoolofComputerScienceandTechnology，NanjingNormalUniv

3、ersity，Nanjing，Jiangsu210023，China；2．StateKeyLab．forNovelSoftwareTechnology，NanjingUniversity，Nanjing，Jiangsu210023，China)Abstract：Syntacticparsingisoneofthefundamentalissuesinnaturallanguageprocessing．Inrecentyears，muchefforthasbeendevotedtosyntacticparsing，resultinginavarietyofapproachesbasedon

4、statisticallearning．Thispapersystemicallysummarizesandclassifiesvariousapproachestosyntacticparsingfromtheviewofthestatisticallearningmodelsandalgorithms，focusingontheanalysisandcomparisonofthedifferenttypesofmodelsandalgo—rithms．ThecurrentresearchesontheChinesesyntacticparsingarealsopresentedint

5、hispaper．Finallywegivethefuturedirectionsandtrendsinsyntacticparsingresearch，especiallyforChinesesyntacticparsing．Keywolds：syntacticparsing；statisticallearningmodel；generativemodel；discriminativemodel；shift—reduce；dataorientedparsing1引言句法分析是自然语言处理的核心技术，是对语言进行深层理解的基石。句法分析的任务是识别出句子所包含的句法成分以及这些成分之间的

6、关系，一般以句法树来表示句法分析的结果。从20世纪50年代初机器翻译课题被提出算起，自然语言处理研究已经有60年历史，句法分析一直是阻碍自然语言处理前进的巨大障碍。句法分析主要有以下两大难点：第一为歧义。自然语言区别于人工语言的一个重要的特点就是它存在大量的歧义现象。人类自身可以依靠大量的先验知识有效地消除各种歧义，而机器由于在知识表示和获取方面还存在严重不足，很难像人类那样进行句法分析消歧。第二为搜索空间。句法分析是一个极为复杂的任务，候选树个数随句子长度呈指数级增长，搜索空间巨大。因此，必须设计出合适的解码器，以确保能够在可以容忍的时间内搜索到模型定义的最优解或收稿日期：2012—0

7、1—28定稿日期：2012—04—18基金项目：国家自然科学基金资助项目(61073119，61272221)；江苏省社会科学基金资助项目(12YYA002)；江苏省自然科学基金资助项目(BK2010547)；南京大学计算机软件新技术国家重点实验室开放基金(KFKT2012805)作者简介：吴伟成(1988一)，硕士研究生，主要研究方向为统计语言模型，句法分析；周俊生(1972一)，博士，副教授，主要研究方向为统计自然语言处理；曲维