dirichlet过程及其在自然语言处理中的应用

《dirichlet过程及其在自然语言处理中的应用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第23卷第5期中文信息学报Vo1．23，No．52009年9月JOURNALOFCHINESEINFORMATIONPROCESSINGSep．，2009文章编号：1O03—0077(2OO9)O5一O025一O8Dirichlet过程及其在自然语言处理中的应用徐谦，周俊生，陈家骏(1．南京大学计算机软件新技术国家重点实验室，江苏南京21O093；2．南京师范大学计算机科学系，江苏南京21。O97)摘要：D

2、richlet过程是一种典型的变参数贝叶斯模型，其优点是参数的个数和性质灵活可变，可通过模型和数据来自主地计算，近年来它已成为机

3、器学习和自然语言处理研究领域中的一个研究热点。该文较为系统的介绍了Dirich1et过程的产生、发展，并重点介绍了其模型计算，同时结合自然语言处理中的具体应用问题进行了详细分析。最后讨论了D

4、richlet过程未来的研究方向和发展趋势。关键词：计算机应用；中文信息处理；变参数贝叶斯模型；D_richlet过程；Dirjchlet过程混合模型；马尔可夫链蒙特卡罗中图分类号：TP391文献标识码：ADirichletPrOcessandItsApplicatiOnsinNaturalLanguagePrOcessingXUQian，ZHO

5、UJunsheng，CHENJiajun(1．StateKeyIaboratoryforNovelSoftwareTechnology，NanjingUniversity，Nanjing，Jiangsu21OO93，China；2．DepartmentofComputerScience，NanjingNormal，University，NanjingJiangsu，21OO97，China)Abstract：Dirich1etprocessisawe1卜knownnonparametricBayesianmodel，withtheat

6、tractivepropertyofaflex．blenumberofcomponentsdeterminedbythemodelandthedata．TheDirich1etprocessisanactiveareaofresearchbothwithinmachine1earningandinthenatura1languageprocessingcommunity．Thispaperintroducestheoriginandde—velopmentofDirich1etprocess，andthemethodsformodel

7、ca1culating．Thispaperalsodemonstrateshowtousethismodeltoso1venaturallanguageprocessingtask．Intheend，thefutureresearchanddevelopmenttrendofDirichletprocessisdiscussed．Keyw0rds：computerapphcationg；Chineseinformationprocessing；nonparametricBayesianmodel；Dirichletprocess；Di

8、rich1etprocessmixturemode1；MarkovchainMonteCar1o未必是一定合适的。例如，在很多情况下我们并不引言能事先确定似然函数的数学形式，这样建立一个具有固定参数集合的模型几乎是不现实的。如果为似贝叶斯数据分析是统计学习中的一个重要分然函数指定了一个错误的数学形式，在此基础上的支]，常用于对满足某种分布的观察数据进行建模，参数估计则会完全偏离实际的情形。为克服传统参它的显著优点是可以直接使用概率来量化问题推理数模型的不足与局限性，一种变参数贝叶斯模型中的不确定性，因而具有广泛的应用性。然而传统(No

9、nparametricBayesMode1)近些年来被提出j，的参数贝叶斯模型强烈地依赖于模型的参数假设，它能够直接从数据中学习概率分布等目标函数。变而人工选择参数是件很困难的事情，这种参数假设参数贝叶斯模型是一种无需进行参数假设的概率模收稿日期：2O08一lO一13定稿日期：20Og—O2—24基金项目：国家自然科学基金项目资助(6O673o43)；国家863高科技项目(2O06AAO1O1o9)；江苏省高校自然科学基金资助(O7KJB52[)()57)作者简介：徐谦(1983)，男，硕士生，主要研究领域为自然语言处理、统计学习；周

10、俊生(1972一)，男，博士，副教授，主要研究领域为自然语言处理、机器学习和信息抽取；陈家骏(1963)，男，教授，博导，主要研究领域为自然语言处理、机器翻译和软件工程。26中文信息学报型，因而具有很强的灵活性，能适应于