条件随机场ppt课件.ppt

《条件随机场ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、条件随机场ConditionalRandomFields条件随机场模型是Lafferty等人于2001年在最大熵模型和隐马尔可夫模型的基础上提出的一种无向图学习模型，是一种用于标注和切分有序数据的条件概率模型。条件随机场概述CRF最早是针对序列数据分析提出的，现已成功应用于自然语言处理、生物信息学、机器视觉及网络智能等领域。目前基于CRFs的主要系统实现有CRF，FlexCRF，CRF++序列标注[PRPHe][VBZreckons][DTthe][JJcurrent][NNaccount][NNdeficit][MDwill][VBnarrow][TOto][RBonly][##][

2、CD1.8][CDbillion][INin][NNPSeptember][..][He][reckons][the][current][account][deficit][will][narrow][to][only][#][1.8][billion][in][September][.]原句标注后产生式模型和判别式模型产生式模型(Generative)：构建o和s的联合分布p(s,o)，如HMM，BNs，MRF。产生式模型：无穷样本==》概率密度模型=产生模型==》预测判别式模型：有限样本==》判别函数=预测模型==》预测判别式模型(Discriminative)：构建o和s的条件分

3、布p(s

4、o)，如SVM，CRF，MEMM。两种模型比较：产生式模型和判别式模型Generativemodel：从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度，不关心判别边界。优点:实际上带的信息要比判别模型丰富，研究单类问题比判别模型灵活性强能更充分的利用先验知识模型可以通过增量学习得到缺点：学习过程比较复杂在目标分类问题中易产生较大的错误率产生式模型和判别式模型两种模型比较：Discriminativemodel：寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。优点:分类边界更灵活，比使用纯概率方法或生产模型得到的更高级。能清晰的分辨出多类或某一类与其他类

5、之间的差异特征适用于较多类别的识别缺点：不能反映训练数据本身的特性。二者关系：由产生式模型可以得到判别式模型，但由判别式模型得不到产生式模型。隐马尔可夫模型(HMM)HMM是一个五元组λ=(Y,X,π,A,B)，其中Y是状态（输出）的集合，X是观察值（输入）集合，π是初始状态的概率，A是状态转移概率矩阵，B是输出观察值概率矩阵。隐马尔可夫模型(HMM)模型定义的是联合概率，必须列举所有观察序列的可能值，这对多数领域来说是比较困难的。基于观察序列中的每个元素都相互条件独立。即在任何时刻观察值仅仅与状态（即要标注的标签）有关。大多数现实世界中的真实观察序列是由多个相互作用的特征和观察序列

6、中较长范围内的元素之间的依赖而形成的。隐马尔可夫模型的局限性：概率图模型概率图模型：是一类用图的形式表示随机变量之间条件依赖关系的概率模型。是概率论与图论的结合。顶点/节点，表示随机变量边/弧，表示随机变量间的条件依赖关系概率图模型根据图中边有无方向，常用的概率图模型分为两类：无向图：亦称马尔可夫随机场(MarkovRandomFields,MRF’s)或马尔可夫网络(MarkovNetworks)有向图：亦称贝叶斯网络(BayesianNetworks)或信念网络(BeliefNetworks,BN’s).概率图模型有向图的联合概率分布：图中概率如下概率图模型尽管在给定每个节点的条

7、件下，分配给该节点一个条件概率是可能的，无向图的无向性导致我们不能用条件概率参数化表示联合概率，而要从一组条件独立的原则中找出一系列局部函数的乘积来表示联合概率。最简单的局部函数是定义在图结构中的团(clique)上的势函数(Potentialfunction)，并且是严格正实值的函数形式。无向图模型概率图模型clique:无向图中的最大全联通子图图中的clique：{X1,X2},{X1,X3}{X3,X4},{X2,X4,X5}概率图模型potentialfunction:对应于无向图中clique的非负函数，用于计算clique中随机变量的联合概率的相对值。无向图模型的联合概率

8、分布：随机场随机场可以看成是定义在同一样本空间上的一组随机变量的集合。马尔科夫随机场（MRF）具有马尔可夫性质的随机场，对应一个无向图模型。MRF的结构本质上反应了我们的先验知识——哪些变量之间有依赖关系需要考虑，而哪些可以忽略。(X1,X2,X3….Xn-1,Xn)条件随机场如果给定的MRF中每个随机变量下面还有观察值，我们要确定的是给定观察集合下，这个MRF的分布，也就是条件分布，那么这个MRF就称为CRF。它的条件分布形式完全类似于MRF的分布形式，