统计语言模型平滑技术和压缩技术的研究和实现

《统计语言模型平滑技术和压缩技术的研究和实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、西安电子科技大学学位论文独创性（或创新性）声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切的法律责任。本人签名：日期西安电子科技大学关于论文使用授权的说明本人完全了解西安电子

2、科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其他复制手段保存论文。同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。（保密的论文在解密后遵守此规定）本学位论文属于保密，在年解密后适用本授权书。本人签名：日期导师签名：日期摘要随着全社会信息化进程的迅速发展，使用计算机处理语言文字的重要性与紧迫性日益显现出来，自然语言处理系统得到迅速

3、发展。而目前根据计算机语言学经验主义的研究办法得到的自然语言处理系统的核心就是统计语言模型。统计语言模型是利用统计的方法描述自然语言内在规律的数学模型。统计语言模型的发展目前面临的两个主要问题是数据稀疏问题和规模过大问题，为此模型建立以后要对模型进行平滑和压缩。本论文主要针对目前正得到广泛推广与应用的统计语言模型，研究了模型的平滑技术和压缩技术，重点研究了模型的压缩技术。在介绍当前已有的统计语言模型平滑技术和压缩技术基础上，本文针对average-count平滑方法，提出了一种改进方法；针对基于相对熵的剪枝方法优化了其计算方法；针

4、对分组方法提出了一种基于方差的分组方法，然后将改进后的基于相对熵的剪枝方法和基于方差的分组方法相结合，作为本文最终的压缩方法。论文的最后通过统计语言模型性能测试实验平台来测试本文提出的这些改进技术的性能，平台通过测试模型的困惑度大小来测试平滑方法的优劣，通过中文整句拼音输入法的错误率大小来证明压缩方法的好坏。实验表明，本文提出的这些改进技术要好于原有方法。关键词：统计语言模型、平滑、压缩、average-count、相对熵、方差AbstractWiththerapiddevelopmentoftheprocessofinforma

5、tionsociety,theimportanceandurgencyofusingcomputerstoprocesslanguageisincreasinglyapparent,naturallanguageprocessingsystemhasbeendevelopedrapidly.Currentlyaccordingtotheempiricalstudyofcomputerlinguistics,thecoreofthenaturallanguageprocessingsystemisStatisticalLanguag

6、eModel.StatisticalLanguageModelisakindofmathematicalmodelwhichusesstatisticalmethodstodescripttherulesofnaturallanguage.ThedevelopmentofStatisticalLanguageModeliscurrentlyfacingtwomajorproblems,thedatasparseproblemandlarge-scaleproblem.Afterestablishingthemodel,itneed

7、stobesmoothedandcompressed.ThispaperaimsatthewidelypopularizedandusedStatisticalLanguageModel,researchesthesmoothingtechniquesandcompressiontechniquesofmodel,focusingonthecompressiontechniques.Basingonintroducingthecurrentlyavailablestatisticallanguagemodelsmoothingte

8、chniquesandcompressiontechnology,thispaperbringsforwardanimprovedmethodforaverage-countmethodandoptimizesthecalculationofthe