利用递归卷积神经网络进行文本分类.ppt

《利用递归卷积神经网络进行文本分类.ppt》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、循环卷积神经网络用于文本分类问题:文本分类特征表示:词袋方法（一元、两元、N元）其它方法：frequecy,MI,pLSA,LDA缺点：忽略了词语所在的语境和词语的顺序，不能有效获取词语的语义EX：AsunsetstrollalongtheSouthBankaffordsanarrayofstunningvantagepoints.（Bank在这里是河岸，而不是银行）已有解决方法1.增加词袋元素维度：比如扩展到“strollalongtheSouthBank”(5-gram)2.更复杂的特征表示方法：比如TreeKernels方法3.存在问题

2、：数据稀少（datasparsity)，即有效的信息量太少，影响分类的准确度。单词表示—词向量1.词向量（wordembedding)：传统的词向量：One-hotRepresentation“话筒”表示为[000 1000000000000...]“麦克”表示为[00000000 10000000...]缺点：“词汇鸿沟”；纬度高；数据稀疏改进的词向量：DistributedRepresentation即一种单词的分布式表示方法，能有效降低数据稀疏问题，经过训练的词向量可以表征句法和语义信息。DistributedRepresentatio

3、n表示形式：[0.792,−0.177,−0.107,0.109,−0.542,...]。维度以50维和100维比较常见。这种向量的表示不是唯一的。特点是越相似的词距离越近。解决了One-hotRepresentation表示词汇时不能表示两个词汇关系的问题。文本表示-神经网络神经网络结构：基本的神经网络结构包含三部分：输入层、隐含层、输出层神经网络的特点：自学习、联想存储、高度并行性、容错性、鲁棒性。。。文本表示递归神经网络（RecursiveNN）：利用树结构对语句进行建模。时间复杂度：至少是O（n2），其中n是句子或者文本的长度，因此不

4、适合长句子或者文本。另一方面，两个句子之间的关系很难通过树结构进行表示。文本表示循环神经网络（RecurrentNN）：对文本进行逐词分析，将已有的文本信息存储在固定大小的隐藏层。时间复杂度：Ｏ(n)缺点：不公平性，后出现的单词比前出现的单词重要性更高。因此对于整个文本进行分类时会降低有效性。因为文本中重要的单词会在任何地方出现。文本表示卷积神经网络（ConvolutionalNN）：卷积神经网络可以有效解决不公平性问题。时间复杂度O（n）已有的研究大多使用简单的卷积内核，比如固定窗口大小。这样窗口大小成为制约性能的关键因素：太小可能会丢失重

5、要信息、太大会导致参数空间过大而难以训练。本文解决方法利用循环卷积神经网络（RCNN）解决文本分类问题，即将循环神经网络和卷积神经网络结合，对文本进行表示。方法主要贡献：1.利用双向循环神经网络来表征单词的上下文信息2.利用最大池层自动判断哪个特征在文本分类中的作用更大方法细节—单词表示利用单词和它的上下文信息共同表示一个单词：wi=[cl(wi);e(wi);cr(wi)]cl(wi):单词wi左边的文本内容cr(wi):单词wi右边的文本内容e(wi-1):单词wi-1的词向量W(l)：将隐藏层传递到下一层的矩阵W(sl):将当前单词的语

6、义和下一个单词左边的文本组合起来的矩阵f:非线性激活函数方法细节—单词表示利用循环神经网络对语句“AsunsetstrollalongtheSouthBankaffordsanarrayofstunningvantagepoints”进行建模表示。方法细节—文本表示得到单词wi的表示形式xi之后，利用双曲正切函数进行转换，将结果传递到下一层：Yi(2)=tanh(w(2)xi+b(2))利用卷积神经网络来表示文本，当所有的单词的表示都计算完成后，进行池化操作，这里采用的是最大池化：Y(3)=maxyi(2)(i=1,2….n)最大池层将不同长

7、度的文本转换为具有相同长度的向量。采用最大池层的好处是可以发现文本中最重要的语义信息。方法细节—输出结果输出层：y(4)=W(4)y(3)+b(4)转换为概率：意义：表示文本属于某个类别的概率参数训练神经网络的参数Ɵ：将所有的参数都用来进行对Ɵ的训练目标是使得对应Ɵ的值使得下式最大其中，D是待分类文本，ClassD是该文本的正确分类类别训练过程中采用了梯度下降的方法，α为学习速率：参数训练词向量训练：Skip-grammodel.目标：使得上式的值最大。其中，C是训练文本的长度。概率p的定义如下，用到了softmax函数：对于单词w1,w2…

8、…wT,计算下式的值：其中，

9、V

10、是没有标记的文本中的单词。e’(wi)是wi的另一个词向量。