资源描述：
《基于n-gram相似度的开发集选择》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、基于n-gram相似度的开发集选择郑达奇涂兆鹏姜文斌米海涛刘洋刘群中国科学院计算技术研究所智能信息重点实验室北京100190E-mail：{zhengdaqi,tuzhaopeng,jiangwenbin,htmi,yliu,liuqun}@ict.ac.cn摘要：在Och最小错误率训练和对数线性模型的机器翻译框架下，本文提出了一种选择开发集的方法，通过分析开发集句子与测试集在n-gram上的相似度，选出和测试集相似度较高的一部分句子组成新的开发集。相较于原开发集，在此新选出的开发集上进行调参，能提高测试集的BLEU值。关键字：自然语言处
2、理、机器翻译、开发集选择DevelopmentSetSelectionMethodBasedOnN-GramSimilarityDaqiZheng,ZhaopengTu,WenbinJiang,HaitaoMi,YangLiu,QunLiuKeyLaboratoryofIntelligentInformationProcessing,InstituteofComputingTechnology,ChineseAcademyofSciences,Beijing100190,ChinaE-mail：{zhengdaqi,tuzhaopeng,
3、jiangwenbin,htmi,yliu,liuqun}@ict.ac.cnAbstract:BasedonOch’sMERT(MinimalErrorRateTraining)andLog-LinearModel,weproposedanoveldevelopmentsetselectionmethod.Accordingtoanalyzingthesimilarityofn-grambetweensentencesindevelopmentsetandtestset,wechoosethesentencesofclosersimil
4、arityasanewdevelopmentset.Comparedtotheoriginaldevelopmentset,wecangetbetterresultsontestsetbytuningtheweightsonthenewone.Keywords:naturallanguageprocessing,machinetranslation,developmentsetselection1引言在最小错误率训练和对数线性模型的机器翻译基本框架下[Ochetal,2002,2003]，我们假设，开发集和测试集是都是从整个句子集合这个总
5、体抽出来的样本，这个总体服从某种分布。因此开发集和测试集是独立同分布的。于是在开发集上调参得到的结果可以直接用于解码测试集，并且应该能得到最好结果。但是在实际中，我们发现，在开发集上取得最好结果的参数，并不一定能在测试集上取得最好结果。我们猜想，这可能是因为开发集句子数量占句子总体的比例很小，所以把开发集调出来的最好参数当成测试集的最好参数，偏差发生的可能性较大。由此我们想到，是不是能选出开发集中和测试集比较相似的一部分作为新开发集，这样使得新开发集在统计意义上靠近测试集，这样也许能得到更适合解码测试集的参数。在上述想法指导下，本文提出了
6、一种基于n-gram相似度的开发集选择方法。通过计算开发集中句子和测试集的在n-gram意义下的相似度，从开发集中选出和测试集相似度较高的一部分句子组成新的开发集。用在新开发集上训练得到的最优参数来解码测试集。从而提高了测试集上的解码结果。本文余下部分安排如下：第2部分介绍其他人的相关工作，第3部分介绍我们实现的基于n-gram相似度的开发集选择方法。第4部分给出了实验所用数据，以及结果和分析。最后给出了结论。1相关工作相关工作按照领域可以分为机器翻译和机器学习两大类。因为之前没有人在机器翻译领域发表过开发集选择的相关工作，所以下面主要提
7、到的是训练集选择的一些工作。机器翻译领域之前的语料赋权的工作，又可以被分为3类：数据选择，数据赋权，和翻译模型自适应。前两者有可能提高对齐准确度，并防止领域无关的短语对被抽取出来。而翻译模型自适应则提高那些领域相关短语对的权重或者是引入那些源语言端没有出现的对应翻译[SpyrosMatsoukasetal,2009]。微软研究院在2006年NIST评测中所使用的方法是：先做在平行语料上做GIZA++对齐，找出测试集中所有基于字的n-gram；在对齐语料中每次取一个对齐双语句对，如果有测试集中出现过得n-gram，就提取此句对；如果测试集中
8、每个n-gram都在对齐语料的不少于k个句对中出现，则停止。用提取出来的这部分句对做规则抽取。这种方法减小了训练数据规模，从而加快了整个流程。而且他们希望这样选出来的数据与测试集更相关。该方法
