基于循环神经网络的短序列机器翻译方法研究

《基于循环神经网络的短序列机器翻译方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于循环神经网络的短序列机器翻译方法研究RESEARCHOFSHORTSEQUENCE’SMACHINETRANSLATIONBASEDONRECURRENTNEURALNETWORK陈明月哈尔滨工业大学2017年12月国内图书分类号：H085学校代码：10213国际图书分类号：004.8.密级：公开工程硕士学位论文基于循环神经网络的短序列机器翻译方法研究硕士研究生：陈明月导师：张海军副教授申请学位：工程硕士学科：计算机技术所在单位：深圳研究生院答辩日期：2017年12月授予学位单位：哈尔滨工业大学ClassifiedIndex:H08

2、5U.D.C:004.8AdissertationsubmittedinpartialfulfillmentoftherequirementsfortheprofessionaldegreeofMasterofEngineeringRESEARCHOFSHORTSEQUENCE’SMACHINETRANSLATIONBASEDONRECURRENTNEURALNETWORKCandidate：MingyueChenSupervisor：AssociateProf.HaijunZhangAcademicDegreeAppliedfor：Mastero

3、fEngineeringSpeciality：ComputerTechnologyAffiliation：ShenzhenGraduateSchoolDateofDefence：December,2017Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学硕士学位论文摘要身处全球化时代，各个国家和民族间的联系日益紧密，各个语种之间的翻译也理所当然变成了一种迫切的需求。人工翻译虽然可以实现准确翻译，其相对应的人力代价对许多需求来说却是无法负担的。因此，机器翻译的重要性不言而喻

4、。然而，机器翻译还远未达到全自动、高质量的翻译要求，具有很大的发展空间。探索更有效的机器翻译算法仍然具有重要的学术研究和工业应用价值。深度学习目前应用广泛，在机器翻译领域也取得了突破性的成就。但是，目前神经机器翻译多以词语作为输入的基本单元。基于词语的神经机器翻译不仅处理流程更加繁琐而且分词算法难免引入误差，词典过大也会造成网络模型维度过高。除此之外，基于词语的翻译模型还存在对未登录词处理困难等问题。针对以上问题，本文以字符级别双语数据作为输入并进一步改进了基于神经网络的翻译模型。字符毕竟不同于词语，输入形式从词到字符的转换会造成原有模型效果的下降

5、。因此，本课题在编码器-解码器的整体框架之下，进一步改进了神经机器翻译模型，着重强化字符的特征表达能力。在词向量生成模块，对原始词表征进行卷积运算的粗提处理，再通过循环神经网络对字符序列进行形式化切词，增强字符的序列表征能力。此外，硬切词会造成梯度回流受阻的问题。本课题对词向量进行了信息补充，整体强化了模型的特征表达能力。经典的注意力机制只关注了当前输出与整体输入的对应关系，通过融合历史信息，可以增强权值的全局性，进一步强化词对齐效果。实验结果表明，在字符级别输入的前提下，本课题的CRNN-embed模型相比RNN-embed以及RNN-searc

6、h模型效果有了进一步提升。对比基于字符和基于词语输入的模型效果以及百万级和千万级语料库基础上的模型效果，可以得出字符级别的模型更有挑战性且语料规模的增长对模型效果有显著影响的结论。关键词：神经网络；深度学习；神经机器翻译；词向量；词对齐-I-哈尔滨工业大学硕士学位论文AbstractIntheeraofglobalization,therelationsamongvariouscountriesandpeoplesaregettingcloserandcloser,andtranslationalsonaturallybecomesakindofu

7、rgentneed.Althoughartificialtranslationmaybeaccurate,thecostisunaffordableformanyneeds.Therefore,theimportanceofmachinetranslationisself-evident.However,machinetranslationcannotmeettheautomaticandhigh-qualityrequirementsyet.So,itstillhasimportantacademicandindustrialvaluethate

8、xploremoreefficientmachinetranslationalgorithms.Deeplearningi