统计机器翻译中短语切分的新方法

《统计机器翻译中短语切分的新方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、06第三届学生计算语言学研讨会统计机器翻译中短语切分的新方法111何中军，刘群，林守勋（1.中国科学院计算技术研究所，北京100080）摘要：基于短语的统计机器翻译是目前主流的一种统计机器翻译方法，但是目前基于短语的翻译系统都没有对短语切分作专门处理，认为一个句子的所有短语切分都是等概率的。本文提出了一种短语切分方法，将句子的短语切分概率化：首先，识别出汉语语料库中所有出现次数大于2次的词语串，将其作为汉语短语；其次，用最短路径方法进行短语切分，并利用Viterbi算法迭代统计短语的出现频率。在2005年

2、863汉英机器翻译评测测试集上的实验结果（bleu4）是：0.1764（篇章），0.2231（对话）。实验表明，对于长句子（如篇章），短语切分模型的加入有助于提高翻译质量，比原来约提高了0.5个百分点。关键词：统计机器翻译；翻译模型；短语切分ANewApproachtoPhraseSegmentationforStatisticalMachineTranslation111ZhongjunHe,QunLiu,ShouxunLin(1.InstituteofComputingTechnology,Chine

3、seAcademyofSciences,Beijing,China100080)Abstract:Currently,Phrase-basedStatisticalMachineTranslationisthestate-of-the-artmethodinSMTcommunity.However,noneofthephrase-basedsystemshasthespecialmoduletodealwiththephrasesegmentation,theyconsiderallsegmentatio

4、nsofasentencewithauniformdistribution.Inthispaper,weproposedaphrasesegmentationmethod:Firstly,findthewordsstringsoccurmorethantwiceinChinesecorpus,whichareconsideredasChinesephrases;Secondly,usetheShortest-Pathmethodtodophrasesegmentation,andemployViterbi

5、algorithmtotrainiterativelytogainthephraseprobability.Wedoexperimentson2005HTRDP(863)MTevaluationtestset.Usingthephrasesegmentationmodel,theresults(Bleu4)are:0.1764(writing)and0.2231(dialog).Experimentsshowthatthephrasesegmentationmodelcan基金资助：国家863计划资助项目

6、（2005AA114140），国家自然科学基金资助项目（60573188）作者简介：何中军（1982-），男，山东莒县，博士研究生，zjhe@ict.ac.cn106第三届学生计算语言学研讨会helptoimprovetranslationqualityonlongsentences.Wegetabout0.5percentagepointincreaseonwriting.keywords:StatisticalMachineTranslation;TranslationModel;PhraseSegm

7、entation1引言[1]自从上世纪90年代初，PeterBrown等人提出了基于信源信道思想的统计机器翻译模型以来，短短十几年，基于统计方法的机器翻译有了长足的进步。目前，基于短语的统计机器翻译（Phrase-basedSMT）成为主流的统计机器翻译方法。一般的，基于短语的[2][3]方法将任意连续的字符串都看作短语，从词对齐的双语语料库中自动学习双语短语，[4]以短语为单位进行翻译；Och提出了对齐模板方法，将单词映射到词类中，实现了句子[5]级和短语级两级对齐；Chiang提出了层次短语模型，形式

8、上是一个同步的上下文无关文法（synchronouscontext-freegrammar），允许短语内部包含子短语（sub-phrase），此外，还有许多学者都致力于基于短语方法的研究。JI将一个汉语句子f=ff?f翻译为英语句子ee=ee?，需要以下3个步骤：112J112IJK1．将汉语句子f=ff?f进行短语切分f!!=ff!!?f；112J112K2．对短语进行调序；3．根据翻译模型，为每一个汉语短语选择合适的英语译