深度学习-词向量应用到nlp

《深度学习-词向量应用到nlp》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、深度学习•词向量应用到NLP词向量自然语言需耍数学化冰能够被计算机认识和计算。数学化的方法冇很多，最简单的方法是为每个词分配一个编号，这种方法已经有多种应用，但是依然存在一个缺点：不能表示词与词的关系。词向量是这样的一种向量［0.1，-3.31，83.37，93.0，-18.37，……］，每一个词对应一个向量，词义相近的词，他们的词向量距离也会越近（欧氏距离、夹角余弦）词向量有一个优点，就是维度一般较低，一般是50维或100维，这样可以避免维度灾难，也更容易使用深度学习词向量如何训练得出呢?首先要了解一下语言模型，语言模型和关的内容请见我另外一篇文章《自己动手做聊天机器人丨•三-把语言模

2、型探究到底》O语言模型表达的实际就是已知前n-1个词的前提下，预测第n个词的概率。词向量的训练是一种无监督学习，也就是没宥标注数据，给我II篇文章，我就可以训练出同向量。基于三M神经网络构建n-grarn语言模型（词向量顺带着就算出来Y）的基木思路:/•-thoutput=/)(u，r=/context)softmaxmostcomputationheretanh「（卜朴Tablelook-upin(TMatrixsharedparametersacrosswordsindexforu>_w+iindexfor117-2indexforiv,1最下血的W是词，其上血的C（w）是词向量，词

3、向量一层也就是神经网络的输入层（第一层），这个输入层是一个（n-l）Xni的矩阵，其中n-1是词向量数□,m是词向量维度第二层（隐藏层）是就是普通的神经网络，以H为权重，以tanh为激活函数第三层（输出层）有

4、V

5、个节点，

6、V

7、就是词表的大小，输出以U为权重，以softmax作为激活函数以实现归一化，最终就是输出可能是某个词的概率。另外，神经网络中有一个技巧就是增加一个从输入层到输出层的直连边（线性变换），这样可以提升模型效果，这个变换矩阵设为W假设C（w）就是输入的X，那么y的计算公式就是y=b+Wx+Utanh（d+Hx）这个模型里面需耍训练的宥这么几个变量：C、11、U、W。利用梯

8、度下降法训练之后得出的C就是生成词向量所用的矩阵，C(w)表示的就是我们需耍的词向量上面是讲解词向量如何“顺带”训练fli来的，然而真正有用的地方在于这个词向量如何进一步应用。词向量的应用第一种皮用是找同义词。貝•体皮用案例就是google的word2vec工貝•，通过训练好的词向量，指定一个词，可以返回和它cos距离最相近的词并排序。第二种应用是词性标注和语义角色标注任务。具体使用方法是：把词A量作为神经网络的输入通过前馈网络和卷积网络完成。第三种应用是句法分析和情感分析任务。具体使用方法是：把词向量作为递归神经网络的输入。第叫种应用是命名实体识别和短语识别。具体使用方法是：把词內暈作

9、为扩展特征使用。为外词向量育一个非常特别的现象：C(king)-C(queue)(man)-C(woman)，这里的减法就是向量逐维相减，换个表达方式就是：C(king)-C(man)+C(woman)和它最和近的句量就是CXqueue)，这里面的原理其实就是：语义空问中的线性关系。基于这个结论相信会有更多奇妙的功能出现。