自然语言处理常用模型方法总结

《自然语言处理常用模型方法总结》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、自然语言处理常用模型使用方法总结一、N元模型思想：如果用变量W代表一个文本中顺序排列的n个词，即W=W1W2…Wn，则统计语言模型的任务商业智能组*t!V/q)^tc)u是给出任意词序列W在文本中出现的概率P(W)。利用概率的乘积公式，P(W)可展开为：P(W)=P(w1)P(w2

2、w1)P(w3

3、w1w2)…P(wn

4、w1w2…wn-1)，商业智能组@X$[!a5evv不难看出，为了预测词Wn的出现概率，必须已知它前面所有词的出现概率。从计算上来看m){&`$q(S*kb0，这太复杂了。如果任意一个词Wi的出现概率只同它前面的N-1个词有关，问题就可以得

5、到;Zi1kt"P/m0很大的简化。这时的语言模型叫做N元模型(N-gram)，即2Z8I!n.H(Y1g0P(W)=P(w1)P(w2

6、w1)P(w3

7、w1w2)…P(wi

8、wi-N+1…wi-1)…实际使用的通常是N=2或N=3的二元模型s)a'zoqto0(bi-gram)或三元模型(tri-gram)。以三元模型为例，近似认为任意词Wi的出现概率只同它紧接的前面的两个词有关。重要的是这些概率参数都是可以通过大规模语料库来估值的。比如三元概率有0bA(yFyZ"F0P(wi

9、wi-2wi-1)≈count(wi-2wi-1…wi)/count(wi-

10、2wi-1)U*FN2Y
H'?0式中count(…)表示一个特定词序列在整个语料库中出现的累计次数。}pk5lkZ0统计语言模型有点像天气预报的方法。用来估计概率参数的大规模语料库好商业智能组"z,c`2n
E商业智能组I
Xh-h'T;D7Y比是一个地区历年积累起来的气象纪录，而用三元模型来做天气预报，就像是根据前两天商业智能组p*{e
l-n?i~的天气情况来预测今天的天气。天气预报当然不可能百分之百正确。这也算是概率统计方商业智能组jY!fD:

11、_法的一个特点吧。(摘自黄昌宁论文《中文信息处理的主流技术是什么?》)条件:该模型基于这样一

12、种假设，第n个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram和三元的Tri-Gram。问题：虽然我们知道元模型中,n越大约束力越强,但由于计算机容量和速度的限制及数据的稀疏,很难进行大n的统计。8二、马尔可夫模型以及隐马尔可夫模型思想：马尔可夫模型实际上是个有限状态机，两两状态间有转移概率；隐马尔可夫模型中状态不可见，我们只能看到输出序列，也就是每次状态转移会抛出个观测值；当我们观察到观测序列后，要找到最佳的状态序列。隐马尔科夫模型是一种用

13、参数表示的用于描述随机过程统计特性的概率模型，是一个双重随机过程，由两个部分组成：马尔科夫链和一般随机过程。其中马尔科夫链用来描述状态的转移，用转移概率描述。一般随机过程用来描述状态与观察序列之间的关系，用观察值概率描述。因此，隐马尔可夫模型可以看成是能够随机进行状态转移并输出符号的有限状态自动机，它通过定义观察序列和状态序列的联合概率对随机生成过程进行建模。每一个观察序列可以看成是由一个状态转移序列生成，状态转移过程是依据初始状态概率分布随机选择一个初始状态开始，输出一个观察值后再根据状态转移概率矩阵随机转移到下一状态，直到到达某一预先指定的结束状态为止，在每一个状态

14、将根据输出概率矩阵随机输出一个观察序列的元素。一个HMM有5个组成部分，通常记为一个五元组{S,K,π,A,B}，有时简写为一个三元组{π,A,B}，其中：①S是模型的状态集，模型共有N个状态，记为S={s1,s2,⋯,sN}；②K是模型中状态输出符号的集合，符号数为M，符号集记为K={k1,k2,⋯,kM}；③是初始状态概率分布，记为={1,2,⋯,N}，其中i是状态Si作为初始状态的概率；④A是状态转移概率矩阵，记为A={aij},1≤i≤N,1≤j≤N。其中aij是从状态Si转移到状态Sj的概率；⑤B是符号输出概率矩阵，记为B={bik},1≤i≤N,1≤k≤M。

15、其中bik是状态Si输出Vk的概率。要用HMM解决实际问题，首先需要解决如下3个基本问题：①给定一个观察序列O=O1O2⋯OT和模型{π,A,B}，如何高效率地计算概率P(O

16、λ)，也就是在给定模型的情况下观察序列O的概率；②给定一个观察序列O=O1O2⋯OT和模型{π,A,B}，如何快速地选择在一定意义下“最优”的状态序列Q=q1q2⋯qT，使得该状态序列“最好地解释”观察序列；③给定一个观察序列O=O1O2⋯OT，以及可能的模型空间，如何来估计模型参数，也就是说，如何调节模型{π,A,B}的参数，使得P(O

17、λ)最大。问题：8隐马模型