资源描述：
《基于深度学习的中文评论观点抽取研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
论文题目:基于深度学习的中文评论观点抽取研究学位类别：工程硕士学科专业：软件工程年级：2015研究生：张静指导教师：黄洪二零一八年五月 国内图书分类号：TP311密级：公开国际图书分类号：004西南交通大学研究生学位论文基于深度学习的中文评论观点抽取研究年级2015姓名张静申请学位级别硕士专业软件工程指导老师黄洪二○一八年五月二十日 ClassifiedIndex:TP311U.D.C:004SouthwestJiaotongUniversityMasterDegreeThesisResearchonChineseOpinionExtractionbasedonDeepLearningGrade:2015Candidate:ZhangJingAcademicDegreeAppliedfor:MasterDegreeSpeciality:SoftwareEngineeringSupervisor:HuangHongMay.20,2018 西南交通大学硕士研究生学位论文第I页摘要深度学习作为近年来国内外比较热门的机器学习模型，在自然语言处理领域表现出的优异性能受到众多研究者的关注。本课题将深度学习应用到中文评论观点抽取和中文评论情感分类中，具有显著的研究意义和应用价值。基于中文评论观点研究中数据集较少且未公开的情况，本课题通过设计网络爬虫获取淘宝网站的真实用户评论数据，利用淘宝用户评论观点数据、搜狗新闻和百度百科数据作为语料训练词向量，并在人工标注的数据集进行模型的训练、验证和测试。本课题提出一种提出基于记忆网络的中文评论观点属性词抽取。该模型的最大贡献是将记忆网络融入到双向长短期记忆网络中，出发点是抽取历史句子中存在的评论观点模式存储并应用到未知评论句子上。该模型由双向长短期记忆网络模块、记忆网络模块和条件随机场模块组成。模型中，双向长短期记忆网络模块作为一个特征提取器模块，用于提取评论语句的句子特征；记忆网络模块作为一个存储器，用来存储双向长短期记忆网络模型提取出的句子模式；条件随机场在给定句子特征及句子模式特征的条件下，计算整个标记序列的联合概率。最后句子的所有评论观点将通过Viterbi算法得到。与其它7个基准组合模型的对比实验表明了所提抽取模型的有效性。以上述基于记忆网络的中文评论观点属性词抽取为基础，本课题将其延伸到中文评论情感分类任务上，提出了基于记忆网络的深度学习中文评论句子级情感分类模型。该模型将抽取模型的标注层替换为分类层，在与2个基准组合模型的对比实验中，表明了所提分类模型的有效性。关键词：深度学习；记忆网络；观点抽取；情感分类 西南交通大学硕士研究生学位论文第II页AbstractAsapopularmachinelearningmodel,deeplearninghasbeenpaidmoreattentionbymanyresearchersinthefieldofNaturalLanguageProcessinginrecentyears.ThispaperaimsatapplyingdeeplearninginopinionextractionofChinesecommentaryandsentimentclassification,andithasanimportantresearchsignificanceandapplicationvalue.IncaseoffewandundiscloseddatasetsinthestudyofChinesecomments,weobtainthecommentsdatafromTaobaoviathewebcrawler.Then,wewilltrainwordvectorbyusingtheTaobaocommentsdata,SogounewsdataandBaiduWikipediadataseparately.Themanuallytaggeddatasetswillbeusedtotrain,verifyandtestthemodel.WeproposedadeeplearningmodelofChineseaspecttermextractionbasedonmemorynetwork(Me-BiLSTM).Thecontributionofthismodelistheintegrationofmemorynetworkandbidirectionlongshort-termmemory.Thepurposeofthemodelistoextractthesentencepatternsfromthehistoricalsentencesandapplythemtotheunknowncommentsentences.ThemodelconsistsofBidirectionalLongShort-TermMemoryNetwork(BiLSTM),MemoryNetwork(MeN)andConditionalRandomFieldAlgorithm(CRF).Inthemodel,theBiLSTMisregardedasafeatureextractortoextractthesentencecharacteristics.Asamemory,MeNisusedtostorethesentencepatternsextractedbyBiLSTM.CRFisusedtocalculatethejointprobabilityofthewholetagsequenceundertheconditionofgivensentencefeaturesandsentencecharacteristics.Finally,theresultswillbeobtainedusingViterbialgorithm.Comparedwiththeother7benchmarkmodels,theeffectivenessoftheproposedmodelisdemonstrated.BasedonMe-BiLSTM,weextendedittosentimentclassificationofChinesereviews.WeproposedadeeplearningmodelofsentencelevelChinesesentimentclassificationbasedonmemorynetwork(Me-BiLSTM-C).Inthismodel,thelabellayerofMe-BiLSTMisreplacedbyclassificationlayer.Comparedwiththeother2benchmarkmodels,theeffectivenessoftheproposedmodelisdemonstrated.Keywords:Deeplearning;Memorynetwork;Opinionextraction;Sentimentclassification 西南交通大学硕士研究生学位论文第III页目录第1章绪论............................................................................................................11.1论文研究背景及意义.................................................................................11.2国内外研究现状.........................................................................................21.2.1深度学习研究现状..........................................................................21.2.2深度学习在NLP领域研究现状....................................................31.2.3观点抽取研究现状..........................................................................31.2.4情感分析研究现状..........................................................................51.3本文的研究内容及结构安排.....................................................................5第2章相关技术介绍..............................................................................................72.1技术框架介绍.............................................................................................72.1.1Selenium介绍...................................................................................72.1.2TensorFlow介绍..............................................................................72.2专业名词介绍.............................................................................................82.2.1属性词..............................................................................................82.2.2句子极性..........................................................................................92.3LSTM介绍..................................................................................................92.4本章小结...................................................................................................11第3章数据抓取及标注........................................................................................123.1数据选择与抓取.......................................................................................133.1.1数据选择........................................................................................133.1.2数据抓取........................................................................................133.2文本分词与词向量训练...........................................................................153.2.1文本分词........................................................................................153.2.2训练词向量....................................................................................163.3数据集标注与序列标注...........................................................................183.3.1数据集标注....................................................................................183.3.2序列标注........................................................................................213.4本章小结...................................................................................................21第4章基于记忆网络的中文评论观点属性词抽取............................................234.1问题描述...................................................................................................234.2基于记忆网络的深度学习抽取模型.......................................................23 西南交通大学硕士研究生学位论文第IV页4.2.1词向量表征....................................................................................244.2.2BiLSTM模块.................................................................................244.2.3记忆网络MeN模块......................................................................264.2.4BiLSTM信息与MeN信息融合...................................................294.2.5CRF模块........................................................................................294.3实验设置与对比方案...............................................................................304.3.1模型设置及说明............................................................................304.3.2激活函数........................................................................................314.3.3损失函数........................................................................................314.3.4评价标准........................................................................................324.3.5实验环境........................................................................................324.3.6对比方案设计................................................................................334.4实验结果与分析.......................................................................................334.4.1不同模型结果对比........................................................................334.4.2不同词向量影响的对比................................................................364.4.3不同词向量维度影响的对比........................................................364.5本章小结...................................................................................................37第5章基于记忆网络的中文评论观点句子级情感分类....................................385.1问题描述...................................................................................................385.2基于记忆网络的深度学习分类模型.......................................................385.2.1词向量表征....................................................................................395.2.2BiLSTM模块.................................................................................395.2.3MeN模块........................................................................................405.2.4BiLSTM信息与MeN信息融合...................................................405.2.5Softmax层......................................................................................405.3实验设置与对比方案...............................................................................415.3.1模型设置及说明............................................................................415.3.2激活函数........................................................................................415.3.3损失函数........................................................................................415.3.4评价标准........................................................................................425.3.5实验环境........................................................................................425.3.6对比方案设计................................................................................435.4实验结果与分析.......................................................................................435.4.1不同模型结果对比........................................................................43 西南交通大学硕士研究生学位论文第V页5.4.2不同词向量影响的对比................................................................445.4.3不同词向量维度影响的对比........................................................455.5本章小结...................................................................................................46总结与展望..............................................................................................................47工作总结..........................................................................................................47工作展望..........................................................................................................47致谢........................................................................................................................49参考文献..................................................................................................................50攻读硕士学位期间发表的论文及科研成果..........................................................56 西南交通大学硕士研究生学位论文第1页第1章绪论1.1论文研究背景及意义深度学习并不是新生产物，但随着计算机计算能力的提高和数据量的爆炸式增长，深度学习也顺势发展。以当前各大互联网公司为例，百度、阿里巴巴、腾讯、头条等先后创建深度学习实验室，为抢占AI（ArtificialIntelligent）市场高薪聘请行业翘楚，唯恐错过下一个互联网浪潮。深度学习的概念是由杰弗里·辛顿（GeoffreyHinton）于2006年提出。随后，其团队在《AFastLearningAlgorithmforDeepBeliefNets》中给出了一种高效的半监督算法，即：逐层贪心算法，用于训练网络参数，打破了长期以来深度网络难以训练的僵局[1,2]。自2006年深度学习概念提出之后，其就受到了工业界和科研机构的高度重视。2011年，谷歌和微软的研究员先后将深度学习应用于语音识别，使得语音识别的错误率下降了20%-30%[3]。2012年，杰弗里·辛顿的学生在图像分类竞赛ImageNet中，使用深度学习打败了工业巨头谷歌的代表团队，使得图像的识别错误率下降了14%，其使用的正是现在大家所熟知的深卷积神经网络（DeepConvolutionalNeuralNetworks）。就是这一战，引爆了深度学习这一概念，其不仅在学术领域意义重大，也吸引了工业界对深度学习的重视，加大了其对该领域的投入。2016年6月，谷歌首席架构师杰夫·迪恩和斯坦福大学教授吴恩达（AndrewNg）主导的GoogleBrain项目，该项目采用了16万个CPU核来训练10亿神经元组成的神经网络，在无外界干扰的情况下自动识别出图像中的猫，而该系统在语言识别方面也取得了巨大的成功。如今，不仅工业巨头在深度学习领域投入巨大，一大批初创公司也乘着深度学习的发展风潮涌现，这一现象也促使了深度学习在图像、语言、自然语言处理等方面获得了广泛地应用，在相关产品中实现落地。相比于诞生之初的曲高和寡，如今的深度学习领域可谓是百家齐鸣、热闹非凡。深度学习首先在图像处理和语言识别方面取得了长足的进步，其相对于传统算法来说识别率有了显著的提升。但是，深度学习在自然语言处理领域是进展缓慢的。自然语言处理存在两大难点：情景多样和语言歧义。虽然深度学习是建立在仿人类大脑机制上的，但对由人类创造的语言文字，其处理效果反而差强人意。目前，深度学习在自然语言处理中主要的研究点以及突破是：（1）Embedding，也就是基于低维稠密向量的语义表示，这也是深度学习在自然语言处理中取得重要进步的一大原因；（2）序列到序列模型和外部记忆单元等的提出，有效地解决了长距离依赖问题。就中文自然语言处理而言，从语法层面来看，主要技术有：中文分词、词性标注和 西南交通大学硕士研究生学位论文第2页句法分析。1.2国内外研究现状1.2.1深度学习研究现状深度学习是机器学习的分支，是机器学习中一种基于对数据进行表征学习的算法。深度学习的好处是用监督式半监督式的特征学习和分层特征提取高效算法来代替手工获取特征[4]。迄今为止，已有数种深度学习学习框架应用至各个领域，如卷积神经网络、循环神经网络和递归神经网络等已被应用于语音识别、机器翻译和计算机视觉等领域并取得了极好的效果。1989年，杨·勒丘恩（YannLeCun）等人开始将标准反向传播（Backpropagation）算法应用于深度神经网络。1991年，赛普·霍克莱特提出了梯度消失问题。虽然这些理论应用至今，但由于缺乏训练数据、硬件计算能力有限以及优化困难等原因，而无法投入实际使用。这也使得神经网络研究进入了一段低潮期。进入21世纪后，随着硬件计算能力的提升，以及大量公开数据的出现，神经网络的研究和应用进入高速发展时期。高性能图形处理器GPU的出现与利用，极大地增强了计算机硬件在数值计算和矩阵运算上的能力，使得机器学习算法所需的运行时间得到了显著的缩短[5]。2012年，深度学习第一次被应用在计算机视觉领域的ImageNet竞赛中。其识别错误率从2011年的26.000%下降至15.315%，降幅达41.1%，且基于深度学习的图像识别准确率在2015年就已经超过人类，2017年最新的识别错误率已低至2.251%。相较于传统算法，基于深度学习的算法可以说是实现了一个质的飞跃。深度学习理论在影响着图像识别领域的同时，也在语音识别领域取得了令人振奋的提升，其为处在瓶颈时期的模式识别领域提供了一个可发展方向。目前国内外各知名互联网公司的语音识别算法都是基于深度神经网络（DeepNeuralNetwork，DNN）的，如谷歌、百度和科大讯飞等。近期，百度公司将深度卷积神经网络（DeepCNN）应用至自然语言处理中的语音识别，并利用VGGNet技术，以及包含Residual连接的深层卷积神经网络（ConvolutionalNeuralNetwork，CNN）等结构，并将长短期记忆网络（LongShort-TermMemory，LSTM）和时序类分类（ConnectionistTemporalClassification，CTC）的端到端语音识别相结合，使得识别错误率相对下降了10%以上[6]。科大讯飞公司提出了基于前馈型序列记忆网络（Feed-forwardSequentialMemoryNetwork，FSMN）的语音识别系统，该系统相比于工业界和学术界中的最好的基于双向循环神经网络模型的语音识别系统在识别正确率上提升了15%以上。 西南交通大学硕士研究生学位论文第3页1.2.2深度学习在NLP领域研究现状自然语言处理（NatureLanguageProcessing，NLP）是深度学习的一个重要应用领域。在过去几十年的发展中，自然语言处理的主流研究方向是基于统计模型的。21世纪开始，一些基于深度学习的自然语言处理相关文章陆续发表。2003年，Bengio等人提出了一个利用三层神经网络来构建的语言模型，即n-gram模型。为了解决维数灾难问题，提出学习词的分布式表示，该方法允许每一个训练语句给模型提供关于语义相邻句子的指数级别数量的信息[7]。该模型既可以学习每个词的分布式表示，也可以学习词序列的概率函数。该方法允许利用一定长度的上下文优势，可以说是词表示的鼻祖。词嵌入（WordEmbedding）的概念也由此诞生，并在Word2vec技术提出后在自然语言处理领域大放异彩。Word2vec是谷歌在2013年开源的一个自然语言处理工具。这一工具的理论基础是Mikolov等人提出的两大模型，即连续词袋模型（ContinuousBagofWords，CBOW）和Skip-gram模型[8]。连续词袋模型使用词的上下文（即该词前后的词）来预测当前词；Skip-gram模型是使用当前词来预测其所处的上下文。Word2vec包含了多种WordEmbedding的方法，这些方法具有两大特点，一是速度快，二是得到的嵌入向量（EmbeddingVectors）具有类推性。2015年，KaiShengTai等人提出了树状长短期记忆网络（TreeLongShort-TermMemory，TreeLSTM）[9]。该模型使用依赖树和句法分析树等先验证知识建树。由于传统的递归神经网络主要用于处理线性序列，故TreeLSTM只适用于某些特定的任务。譬如，TreeLSTM在情感分析（SentimentAnalysis）中就取得了良好的效果。同年，Li等人还提出了层次LSTM。即使用多个的LSTM来分别处理词、句子和段落级别的输入，并使用自动编码器（Autoencoder）来检测LSTM文档特征抽取和重建能力[10]。2017年，Joel等人提出嵌套LSTM（NestedLSTM）。在访问内部记忆时，相对于传统LSTM，NestedLSTM的自由度更高，能处理更长时间规模的内部记忆，学习更长期的依赖关系。目前，深度学习已被应用到多个自然语言处理相关领域。如机器翻译[11]、情感分析[12]、信息检索[13]、词法分析、句法分析[14]、词义相识度、短文本相似度、文章标签、文章分类等，部分实现机制明显优于传统算法，已被企业实现了技术理论到产品的落地。1.2.3观点抽取研究现状2003年，Yu等人利用极性组合从句子层次和文档层次进行了语义极性分析，同时 西南交通大学硕士研究生学位论文第4页利用统计学方法，识别句子极性，计算文档极性[15]。2005年，微软美国研究院研究员开发了Pluse系统，系统可自动挖掘用户关于汽车评价的极性和强度[16]。同年，IBMAlmaden研究中心开发了WebFountain系统，该系统利用语法关系找出主题和修饰成分的关系[17]。美国伊利诺伊大学Liu主导的OpinionObserver系统可获取线上用户评论信息，再进行各特征的优缺点统计，并进行可视化综合质量比较[18]。英文观点抽取的发展已由单一文本或句子处理发展到了以面向用户为主题的研究，采用自然语言处理技术分析处理。目前为止，英语领域出现观点抽取系统，可针对不同的语料、领域和用户。与之相比，中文领域的系统就较为单一，仅涉及部分行业和领域，需要发展的空间仍然巨大。中文观点抽取研究可最早追述至2005年，香港中文大学Benjamin等人对北京、上海、香港和台北四个城市的600篇新闻报道进行词性分析，从文档层次（Document-level）分析四位政界人物的声誉褒贬评价[19]。其利用标记语料库获得文本的极性元素，然后采用了密度（Density）、广度（Spread）和强度（Intensity）这三个衡量指标对文章中的极性成分（PolarElements）进行划分。Hu和Liu提出对评论语料进行词性标注来提取名词和名词短语构成的事物文件，再利用关联规则来筛选候选产品特征[20]。李实等人将Hu等人提出的方法针对中文评论的特性做了改进，在挖掘中文表述的产品特征上取得了较好的效果[21]。Zheng等人通过抽取中文产品评论中的名词作为候选产品特征，再计算领域一致度和领域相关度来去掉伪产品特征来获取枕着的产品特征[22]。在评论数据中，特征与观点之间通常存在着特定的关系，部分学者则是利用这种特词性序列和句法依存关系来抽取产品特特征和观点。2012年，Kumar等人就是利用了句法的依存关系来识别产品特征和观点[23]。Qiu等人则是利用双向传播算法抽取特征和观点，并通过修建产品特征来提高准确率[24]。就用户评论观点而言，随着近几年国内网上购物的兴起，产生了大量的在线评论数据。研究表明，从大量的评论信息中提取产品特征尤为重要，它不仅能便于消费者迅速了解产品各方面信息；也为企业提供的产品设计依据[25]，促进企业提高自身竞争力[26,27]。由此可见，用户评论中所隐藏的信息极具商业价值。国内几大互联网公司也已经将用户观点提取应用到了实处，例如，淘宝和京东这样的网络电商将用户的实际评论展示在购物页面，用户可以选着关键字来查看相关信息，满足用户所需，在很大程度上提高了用户体验。同时，国内各大互联网公司也提供了中文评论观点属性词抽取和观点词抽取的API，也能在线实现评论观点提取，例如：百度AI就为开发者提供各类评论观点抽取的接口，可供开发者选择。虽然国内发展已有了显著成效，但相比于国外多样性还有所欠佳，中文观点抽取的系统还较为单一，主要是在电商购物或外卖购物方面，针对的用户单一，涉及的领域也较少，语料的覆盖面也窄。因此，在中文观点抽取领域仍是任重道远。 西南交通大学硕士研究生学位论文第5页1.2.4情感分析研究现状情感分析是目前文本挖掘中比较主流的应用领域，情感分析涵盖的内容较多，诸如电商平台中评论信息分析、社交媒体平台中用户的评论向导等都属于情感分析的范畴[28]。目前情感分析的主要应用领域是电商和社交网站，其能够发现用户评论数据的极性，可分析用户的思维导向，能极大地提高用户体验。消费者也乐于对网购的商品表达相关意见[29]。以淘宝网站为例，提高对用户的评论数据做情感分析可动态地为用户推送商品，或调整用户观看商品的顺序，提高用户的购买欲。这也使得分析、处理和利用广泛分布于网上的海量观点信息逐渐受到自然语言处理、情感分析、电子商务等领域专家学者的高度关注[30]。目前，已有大量的研究者使用机器学习来进行情感分类。2002年，Pang等人使用监督式机器学习支持向量机（SupportVectorMachine，SVM）来对对电影评论进行情感分类[31]。也有一些涉及非监督方法的情感分类。Turney使用了PMI-IR（PointwiseMutualInformationandInformationRetrieval）对消费评论进行情感分类[32]。同时，也有使用模糊逻辑进行情感分类[33]，以及使用图进行情感分类的[34]。而中文领域也有一些优秀的情感分类方法，例如，基于特征聚类的半监督式情感分析[35]，作者将该方法与基于self-learningSVM方法[36]和基于co-trainingSVM的情感分类方法[37]进行了比较，该方法性能表现更好。相比于传统机器学习方法，深层神经网络的表达能力有了质的飞跃，并摆脱了特征工程的束缚[38]。其可以通过语义合成性原理将低层词向量合成高层文本情感语义特征向量，来提升模型的可推广性。但在实际应用中，中文评论观点情感分类也面临着至少2方面的挑战。首先，网上的用户评论信息涉及的领域较广，以淘宝和网络新闻为例，涉及的包括电子产品、食品和日常生活用品等，而网络新闻一般会涉及娱乐、体育和政治等。再者就是训练所需的数据集的标注耗时费力。1.3本文的研究内容及结构安排本文主要围绕基于深度学习对中文评论观点属性词抽取和中文评论句子级情感分类进行展开，主要包含深度学习神经网络、中文评论观点属性词抽取和中文观点情感分类。对相关知识点进行了大量的学习和调研，描述了本课题所采用的模型和组合模型，并在实验中进行了对比。第一章，绪论部分。主要介绍了课题背景和意义，并提及相关技术的研究现状。主要描述了深度学习的研究现状以及深度学习在自然语言处理领域的研究现状。也提到了本文采用了深度学习模型之一，循环神经网络和长短期记忆网络结构及其变体。同时，本章也谈及了中英文观点抽取和情感分析的研究现状。最后，给出课题概况和论文 西南交通大学硕士研究生学位论文第6页结构。第二章，介绍了实验所使用的技术框架。包括网络爬虫框架Selenium和深度学习计算框架。同时本章也介绍了深度学习相关的概念，包括激活函数、损失函数、Dropout和Adam算法。第三章，介绍了数据抓取和标注。数据抓取及数据标注部分涉及语料获取、中文分词、训练词向量、数据集标注和序列标注5个部分。训练所得的词向量将用作实验模型的初始化，使得模型尽快收敛。同时，也提供实验所需的数据集，包括中文观点属性词抽取数据集和中文评论情感分析数据集。第四章，详细介绍了本课题提出的基于记忆网络的中文评论观点属性词抽取模型（MemorybasedBidirectionLongShort-TermMemory，Me-BiLSTM）以及与7个基准组合模型的对比实验。涉及词向量维度包括：50维、100维、150维、200维、250维、300维、350维。涉及模型包括：LSTM+FC模型、LSTM+CRF模型、BiLSTM+FC模型、BiLSTM+CRF模型、Me-LSTM(FC)模型、Me-LSTM(CRF)模型、Me-BiLSTM(FC)模型、Me-BiLSTM模型。对比实验包括：（1）相同词向量且词向量维度是300维时，各模型对应的precision值、recall值和F1值对比；（2）词向量维度为300维但不同语料训练的词向量对模型Me-BiLSTM的影响结果对比；（3）同一语料训练的不同维度词向量对模型Me-BiLSTM的影响效果对比。第五章，介绍了本课题提出的基于记忆网络的深度学习中文评论句子级情感分类模型（MemorybasedBidirectionLongShort-TermMemoryforClassification，Me-BiLSTM-C）以及与2个基准组合模型的对比实验。涉及词向量维度包括：50维、100维、150维、200维、250维、300维、350维。涉及模型包括：LSTM模型、BiLSTM模型、Me-BiLSTM-C模型。对比实验包括：（1）相同词向量且词向量维度是300维时，各模型对应的Accuracy值对比；（2）词向量维度为300维但不同语料训练的词向量对模型Me-BiLSTM-C的影响结果对比；（3）同一语料训练的不同维度词向量对模型Me-BiLSTM-C的影响效果对比。从3组对比实验数据看来，本课题提出的Me-BiLSTM-C模型实验效果最好。结论与展望部分总结了本课题的工作量和主要研究成果，并提出了下一步的研究方向。 西南交通大学硕士研究生学位论文第7页第2章相关技术介绍2.1技术框架介绍2.1.1Selenium介绍Selenium是一个自动化测试框架[39]。在课题中Selenium主要用来爬取网络数据，作为数据采集工具。原因是Selenium在测试时可直接调起浏览器，模拟用户的真实操作，对IE、Firefox和Chrome等浏览器也有较好的支持。由于Selenium可模拟用户操作，再通过设定程序沉睡时间来放缓网络请求速度，可“骗过”绝大多数网站的反爬虫机制。这是当前大多数反爬虫网络环境下，网络爬虫应该具备的特殊“技能”，这使得抓取淘宝用户评论数据变得可能，而评论数据的抓取是本论文模型验证的基本前提。使用Selenium获取数据实则是获取页面中包含的元素信息，而不是直接访问接口信息。因此需要分析页面元素的特征和页面加载方式，某些情况下，需模拟用户点击、翻页等操作才能加载完整网页上数据。在加载网页信息时需等待页面渲染完毕代码才能继续执行，这样可能较为耗时。但在本课题中，抓取数据的主要目的在于手动筛选并标注模型训练和测试所需的数据集，繁重的手工劳动使得海量数据的标注变得不切实际，故Selenium在本课题中具有可行性。2.1.2TensorFlow介绍TensorFlow作为Google在2015年开源的深度学习计算框架[40]，具有大量的用户群体及活跃的学术社区，目前在开源网站github上的关注人数及跟踪人数累计达到16万次，说明该框架的可用性及拓展性都具有较大的竞争力。同时，TensorFlow对Python、C++等多种语言都提供良好的支持，还支持多CPU/GPU并行计算，TensorFlow拥有强大的出生背景，更加成熟和完善，用户可以方便地用它提供的丰富API设计自己的神经网络结构。TensorFlow开发涉及构建和执行两个阶段。在构建阶段，TensorFlow的所有操作被组织成一个有向的计算图（ComputationGraph），在计算图中节点表示某种类型的运算操作，边表示操作涉及的数据流动关系，在边中流动的数据一般是多维的张量。节点可以有任意多个输入，可以有自己的属性（如涉及的输入和输出张量的维度等），所有属性需要预设，有些属性也可自动推断，梯度计算和误差反向传播训练的过程也直接被封装起来，无需额外编写相关实现代码。在执行阶段，会话（Session）负责管理计算图分发到CPU或GPU等硬件计算平台上执行的上下文，并提供了灵活的接口，可以指定需 西南交通大学硕士研究生学位论文第8页要执行的操作节点。图2-1是Tensorflow的计算流图示例，表示的是全连接加上ReLU激活函数的计算图构建流程C=F(Relu(Add(MatMul(W,x),b)))，其中每个节点都是符号化表示的。通过session创建graph，在调用session.run执行计算。图2-1TensorFlow计算流图示例本课题设计的记忆网路结构自行搭建网络图模型，Tensorflow的灵活接口和活跃社区成为当选的理由。同时它还提供了非常丰富的神经网络函数，如各种不同的优化器，包括GradientDescentOptimizer、AdadeltaOptimizer、AdagradOptimizer和AdamOptimizer等。2.2专业名词介绍2.2.1属性词近年来，对非结构化评论数据进行观点抽取，已经成为一个研究热点。其中，属性词和评价词在产品评论的观点信息抽取中起到重要作用。其中，属性词抽取（AspectTermExtraction）旨在从评论语句中识别相关产品或服务的属性的表达方式（AspectExpressions）[41]。以一个评论句子“包裹很严实，用上挺好的，功能齐全，网速也跟得上，没有什么毛病。”为例。其中，“包裹”、“功能”和“网速”是属性词。本论文的工作之一就是抽取评论句子中的属性词（AspectTerm）。虽然属性词抽取与命名实体识别有相似之处，且它们都受文本中的上下文信息影响。但是，命名实体识别主要是针对人名、地名和机构名。通过上述例句，可以清晰的看出，命名实体和属性词之间有着本质的区别。抽取评价句子的属性词，一个主要的难点还在于“一句多词”，就是一个评价语句中通常会包含多个属性词，属性词个数的不确定导致算法建模上的困难。所以现在的做法一般是将属性词收取当做序列标注任务来处理。 西南交通大学硕士研究生学位论文第9页目前，抽取属性词常用的方法包括：利用关联规则抽取高频属性词[42]；利用TF-IDF获得属性词[43]；利用半监督的学习技术抽取属性词和评价词的关系对，以及通过预处理、聚类、相似度计算等非监督方法抽取属性词[44]。但传统的方法存在着过分的依赖于人工特征筛选的问题，不具备从数据中自动抽取和组织信息的能力，研究人员需要在特征筛选上花费大量的时间。因此，摆脱人工特征选择的局限性，试图从大量可观测到的浅层感官数据中识别或解释关键特征，便成为深度学习的主要思想[45]。随着深度学习的繁荣将深度学习应用至自然语言处理成为一个大的趋势，相继出现使用深度神经网络方法解决评论观点抽取任务，包括条件随机场[46]、卷积神经网络与条件随机场的组合模型[47]、长短期记忆网络与条件随机场组合（LSTM+CRF）模型[48]以及双向长短期记忆网络与条件随机场组合（BiLSTM+CRF）模型[48]等。2.2.2句子极性句子极性倾向分析是指利用计算机技术自动分析带有观点信息的句子。极性研究观点工作也从对极性词语或极性成分的识别，发展到对句子层次和文档层次的分析[49]。文本中的情感又分为显式情感及隐式情感，显式情感是指包含明显的情感词语（例如高兴、漂亮）情感文本，隐式情感是指不包含情感词语的情感文本，例如“这个桌子上面一层灰”。由于隐式情感分析难度比较大，比较依赖于背景知识及常识知识，目前许多工作集中在显示情感分析研究。在传统的自然语言处理技术中，处理方式是首先通过对句子中词语的依存关系进行深层分析，并研究关键成分的依存修饰关系，计算极性词的上下文极性，并对句子讨论的主题进行观点抽取，对中文句子进行极性分析[49]。但传统方法很大程度上需要依赖极性字典或句法解析器等，而引入深度学习则很大程度上避免大量的人工标注任务，例如卷积神经应用于中文微博情感分类[50,51]和短文本情感分类[52]、循环神经网络应用至观点挖掘[53]、长短期记忆网络应用于情感分析[54]等。在这些文献中，采用的极性分类方法都舍弃或减少对传统情感分类中所需的极性词典等的依赖，能极大地减少前期的人力投入。再者，将深度学习应用至自然语言处理打破了传统技术的壁垒，显著提升准确率，其发展事态犹如雨后春笋。2.3LSTM介绍循环神经网络（RecurrentNeuralNetwork，RNN）由神经网络专家Jordan等于上世纪80年代提出的一种神经网络结构模型[55]。RNN的特点是一个神经元当前的输出与之前的神经元的输出有关。即隐藏层之间的节点是相关联的，并且当前隐藏层的输入不仅包括输入层的输入，还包括之前隐藏层的输出。理论上，RNN能够处理任意长度的序列 西南交通大学硕士研究生学位论文第10页数据，但在实际情况中并非如此，RNN在实际训练中会存在很多问题，典型的就是梯度消失和梯度爆炸这两类问题，而正是这两类问题直接影响了RNN处理长距离历史信息的能力。为了解决长期依赖（Long-TermDependencies）问题，Hochreiter等人于1997年提出了长短期记忆（LongShort-TermMemory）用于改进传统的RNN模型[56]，并在近期Alex对其进行了改良和推广。有效地缓解了RNN中存在的梯度消失和梯度爆炸问题。在很多问题中，LSTM都取得了巨大的成功，并得到了广泛的认可和应用，并发展出多种变体。LSTM的核心思想是神经元单元状态的利用，神经元单元状态类似于传送带，通过直接在传送带上传输，仅保留一些少量的交互。总所周知，物品在传送带上传输，其状态保持不变是很容易的。LSTM中精心设计的“门”结构可以去除和增加信息到神经元单元状态。其中，门是一种让信息选择通过的方式，其数值即表示该部分有多少量可以通过。0表示“不允许任何量通过”，1则表示“允许所有量通过”。较为经典的LSTM结构拥有三个门结构来保护和控制神经元单元状态。首先是通过忘记门层来确定从单元中丢弃什么信息。下一步是确定什么样的信息将被存放在神经元单元状态中，这里包含sigmoid层和tanh层。其中，sigmoid层决定什么值将要被更新，tanh层则将创建一个新的候选向量。然后，利用旧状态和候选向量来更新单元状态。最后是基于神经元单元状态确定输出什么值，把神经元单元状态通过tanh函数进行处理并将输出值和sigmoid门的输出值相乘就能确定它的输出。2000年，Gers等人提出了一种流式LSTM变体[57]，即增加“peepholeconnection”结构，让门层也能接受神经元单元状态的输入。使得模型能够更加精确地利用历史信息和输入数据。许多论文在利用这种流式LSTM变体时，会在部分门上添加peephole。但是在全部门上添加peephole可是可行的。2014年，Cho等人提出了一个变动较大的LSTM变体，即门控循环单元（GatedRecurrentUnit，GRU）[58]。GRU将LSTM神经元单元中的忘记门和输入门合并成一个单一的更新门（UpdateGate）。最终仅包含两个门，重置门（ResetGate）和更新门。这样使得模型结构比标准LSTM模型要更简单，参数更少，但在多个任务上GRU并不亚于标准LSTM的表现。2015年，Yao等人提出了DepthGatedRNN[59]。以上变体都是基于标准LSTM进行了结构调整，针对哪个变体更优以及变体之间差异性的问题。2015年，Jozefowicz等人在超过1万种RNN架构上进行了训练和测试，发现一些结构会在某些任务上取得的效果比标准LSTM更好。也就是说，不能确定谁比谁更好，只有将对于的结构应用到对应的领域，才能将模型的效果发挥至最好。 西南交通大学硕士研究生学位论文第11页也正是LSTM的提出使得，使得循环神经网络获得了巨大的成功。但这样的成功并不是重点，而是研究它的动力。2015年，学者们将注意力（Attention）引入了循环神经网络，使得循环神经网络能在计算的每一步都从较大的信息集中挑选有效信息，舍弃无效信息。最后根据这些有效的信息输出数据。当然Attention并不是循环神经网络的唯一前进方向。RNN的研究已是百花盛开。2.4本章小结本章介绍了实验所使用的技术框架，包括网络爬虫框架Selenium和深度学习计算框架TensorFlow。同时本章也对后续实验所涉及的专业名词作了解释。也介绍了本论文涉及的重要模型LSTM。 西南交通大学硕士研究生学位论文第12页第3章数据抓取及标注数据抓取及数据标注涉及语料获取、中文分词、训练词向量、数据集标注和序列标注5个部分，数据抓取及标注过程展示图，如图3-1所示。模型训练外观B_AP好看O，O颜色牢固B_AP很度I_AP漂亮不够O。序列标注…外观/好看/，/牢固/度/不够中文分词训练词向量……颜色/很/漂亮/。中文分词数据集标注颜色很漂亮。外观好看，牢固度不够语料获取图3-1数据抓取及标注过程展示图图3-1展示了数据抓取及标注的大致流程。图结构由下至上可见。数据抓取及标注操作可分为5个部分。1.获取训练词向量所需的语料。在本课题的实验中，包含的语料有中文购物网站的用户评论观点数据、中文新闻数据和百度百科数据，这些数据均将会用于词向量的训练。2.中文分词，即将第一步获取的各类语料分别进行中文分词操作。再将分词后的数据用于词向量的训练和序列标注。 西南交通大学硕士研究生学位论文第13页3.进行词向量的训练。在这一步需要对中文分词处理后的各语料进行词向量训练操作，本课题涉及50到350，步长为50共7个维度的词向量。4.数据集标注。本课题使用的数据集包括训练集、验证集和测试集，由于现在的中文评论观点工作较少且缺少公开的数据集，故本课题对所有数据集进行手动标注。作为本课题的一个工作量。5.进行序列标注。序列标注采用BIO表示法，该方法是英文评论观点中常用的表示方法。在本课题中标注标签分别是B_AP、I_AP和O，分别表示评价的起始词，中间词，以及其它的非评价词。图3-1最后展示的是词向量数据流向，即训练后的词向量将被作为模型的初始化，用作实验模型的训练和对比实验，来比较不同语料和不同维度词向量对实验效果的影响。3.1数据选择与抓取3.1.1数据选择本课题涉及的领域是中文评论观点抽取，初期实验表明词向量的好坏对该任务的影响较大。为了较为系统地考察不同来源的训练语料对中文评论观点的影响，本课题分别抓取了新闻、电商评论及百科数据进行实验。从语法规范程度出发，新闻数据具有较为严格的语法，对分词效果的影响较小，其次是百科数据，电商评论较为口语化，对分词的影响最大。从语料与任务的相关程度出发，电商最具相关性，百科涉及较多的专业名词也有利于该任务的建模，最不相关的是新闻数据。各个数据源的选取如下：（1）新闻数据。来自搜狗实验室网站，数据主要包含搜狗新闻和全网新闻，这些数据以XML格式保存。（2）电商评论。来自淘宝、京东等电商网站的买家对所购买的商品观点评论。数据类型包括日常生活用品、珠宝、家电、房产、汽车、饮食、图书和玩具等，覆盖范围较广，覆盖量较大。该部分数据与本课题的中文评论观点抽取的领域相关，故此数据是必不可少的。（3）百度百科。即这部分数据来源于百度百科。数据获取方式与商品评论观点数据获取方式一致。3.1.2数据抓取新闻数据来自搜狗实验室。在该网站上获取的数据是以XML格式保存的，而XML数据中包含其他标签数据，故需要筛选出有效数据。本课题中所使用的有效数据是XML的content标签中的数据，并将筛选出的有效数据保存至txt中，用作中文分词和词向量的训练。新闻数据下载地址为：http://www.sogou.com/labs/resource/list_news.php。 西南交通大学硕士研究生学位论文第14页中文评论观点的数据需要从网站上爬取。爬取数据需要剔除emoji和乱码等无效数据，并直接保存至txt文本。在淘宝爬取的用户评论数据总量达到1.85GB。这些数据将用于中文分词和训练词向量，以及数据集标注。中文评论观点的语料获取方式主要包含以下两步：第一步，使用Python和Selenium自动化框架访问淘宝搜索结果页，请求链接为https://s.taobao.com/search?q=XXX，XXX为搜索关键词。据页面中的命名方式，获取搜索结果页中含有商品ID的标签值，从标签中提取商品ID，即获取图3-2中a标签的id=J_Itemlist_TLink_565378287164，再从id字符串中分解出商品ID，图3-2中所示的商品ID值为565378287164。其中，搜索所需的关键字可参考淘宝网站首页的主题市场模块，该模块基本覆盖了淘宝网站的所有商品类型，既满足训练词向量语料的纯度，又满足了数据量的需求。搜索结果页商品ID展示图，如图3-2所示。图3-2搜索结果页商品ID展示图第二步，使用Python，利用上一步中获取的各商品ID可直接请求商品评论接口，所使用的商品评论接口为：https://rate.taobao.com/feedRateList.htm?auctionNumId=YYY，YYY表示第一步中获取的各商品ID值。并在请求链接中添加currentPageNum字段来获取该ID商品的前30页用户评论信息。网站数据请求接口及返回数据展示图，如图3-3所示。实验预处理中所采集的数据以txt文本保存，将用作后期的中文分词、词向量训练和数据集标注。 西南交通大学硕士研究生学位论文第15页图3-3数据请求接口及返回数据展示图3.2文本分词与词向量训练3.2.1文本分词中文分词（ChineseWordSegmentation）是中文自然处理的一个基础步骤。不同于英文分词，中文句子中词与词之间没有明确的界限，这种特性也使得中文分词有其特有的复杂性。中文分词当前存在的主要问题包括：分词标准、歧义、新词。不同的分词器有不同的分词标准，例如人名，HNLP的标准是将姓和名划分在一起作为一个词，而哈工大的LTP则是将姓和名划分为两个不同的词。歧义则是对同一段待分词语句存在多个分词结果，又因为分词粒度的不同、交集的不同和复杂语境，分词歧义可分为组合型歧义、交集型歧义和真歧义三种类型。正是中文分词存在诸多困难，这也使得中文分词工具的好坏直接或间接的影响着计算机对中文自然语言处理的能力。优秀的中文分词工具能有效的帮组计算机理解和处理复杂的中文。目前，在中文分词研究领域已有较为成熟的分词器可供选择，例如清华大学的THULAC、中科院研究所的NLPIR以及完全开源的结巴分词器都是优秀的分词器。本课题的研究方向并不是中文分词，故在此就不做相关研究领域的详细介绍，而是直接说明课题实验中所采用的中文分词器。本课题采用的是结巴分词，该分词器是在Gihub上开源的，支持Python编程语言，在工程中利于管理和研发。结巴分词支持三种分词模式：精确模式、全模式和搜索引擎模式[60]。这些分词模式各有优劣。精确模式适合文本分析，其能将句子做最精确的切分。 西南交通大学硕士研究生学位论文第16页全模式处理速度最快，但无法解决歧义问题。搜索引擎模式适用于搜索引擎分词，其将在精确模式下产生的长词做了再切分，来提高召回率。结巴分词涉及的算法包括：前缀词典结构（PrefixDictionaryStructure）、动态规划、HMM模型和Viterbi算法，实现了高效的词图扫描，也解决了未登录词划分问题。当然，结巴分词也支持关键字提取、词性标注等操作。由此可见，结巴分词能够满足本课题的分词所需。在本课题中，利用了Python语言，直接调用结巴分词提供的API，来完成对新闻数据和评论数据的分词操作。3.2.2训练词向量词向量（WordEmbedding），将自然语言中的词转化为计算机可以理解的稠密向量（DenseVector）。在自然语言处理中，词的表示方法有两种：离散表示（One-hotRepresentation）和分布式表示（DistributionRepresentation）。其中One-hot的表示方式不仅不能展示词与词之间的关系，也致使特征空间特别大，这使得模型训练的要求和难度增大。分布式表示则是将词转化为定长连续的稠密向量，WordEmbedding就是词的一种分布式表示。这种词向量的表示方式使得词与词之间存在相似关系，也使得向量中包含更多的信息，使得其每一维都有着特定的含义。词向量是语言模型的附带产物，语言模型通过训练神经网络语言模型（NeuralNetworkLanguageModel）来获取词向量。较为著名的方法有：CBOW、GloVe、Skip-gram、LBL等。其中使用较为广泛的是CBOW（ContinuousBag-of-Word）。这些方法的基本思想都是通过已知上下文环境，对当前词进行预测。词向量训练模型Word2Vec中，主要包含Skip-Gram和CBOW模型。其中，CBOW是通过上下文，来预测目标词；而Skip-Gram恰恰相反，是通过目标词来推测上下文。在本课题中，调用的gensim.models模块仅实现了Skip-Gram模型，此处仅对Skip-Gram模型做详细介绍。Skip-Gram神经网络模型结构较为简单，在前馈神经网络的基础上做了改进而来。Skip-Gram的神经网络模型结构如图3-4所示，图中的w在优化处理后就是每个词的词向量。Skip-Gram的神经网络模型所涉及公式见式（3-1）。TTmax#(,)[log(wcwc)kEcP(log(wc))]wc,ND(3-1)wVcVwc上式中，𝐰就是指词向量，是词，𝑐表示的上下文（Context），但此处的𝑐并不是常规意义的上下文，而是以词的形式存在，#(,𝑐)是指𝑐出现在词的上下文的次数。再经过随机梯度下降法（SDG）优化处理后，就可以得到每个词对应的词向量𝐰。 西南交通大学硕士研究生学位论文第17页INPUTPROJECTIONOUTPUTw(t-2)w(t-1)w(t)w(t)w(t+1)图3-4Skip-Gram神经网络模型结构图[61]词向量效果的好坏受多种因素的影响，其中包括词向量设置维度的大小、语料的量的大小和纯度等。针对不同维度的词向量，词向量效果不一样，通常增加词向量维度可实现增强词向量效果，但众多实验表明300维的词向量的效果最佳。针对同一领域，语料越多越好，且语料的纯度越高，词向量效果越好，也就是说添加不相关领域的语料可能会降低词向量的效果。本课题所需的词向量主要是用户评论数据，故训练词向量的语料也需要是用户评论数据，以避免因语料领域不同，影响实验效果。同时在对比实验中，也使用了新闻领域和百度百科的语料来训练词向量。在本课题中，词向量用作实验的初始化，使得模型尽快收敛。在进行本课题的实验时，未能找到已有的有效词向量，故需进行词向量的训练。词向量的训练可分为2个步骤进行。第一步，替换文本中的特殊符号。如筛选并剔除语料数据中的emoji符号和一些无法解析的乱码，此步骤也可以在语料获取后或中文分词前进行，以免无用信息影响实验效果。第二步，将中文分词处理后的数据进行词向量的训练。由于Python中已有较为成熟的词向量训练模块，因此可以直接引用Python的word2vecgenism.models模块提供的API，来实现词向量训练。在本课题的实验中，需要比较不同维度词向量的情况下，实验效果的差别。其中，所需的词向量维度包括：50维、100维、200维、250维、300维和350维。故在训练词向量时，需多次训练，来获取不同维度的词向量。其中，对应语料所训练的不同维度词向量文件大小如表3-1至表3-3所示。 西南交通大学硕士研究生学位论文第18页表3-1新闻语料各维度词向量文件统计情况表词向量维度50d100d150d200d250d300d350d词向量文件大小227.9MB456.3MB685.8MB916.4MB1.15GB1.38GB1.61GB表3-2评论语料各维度词向量文件统计情况表词向量维度50d100d150d200d250d300d350d词向量文件大小71MB142MB213.4MB285.4MB357.6MB429.9MB502.6MB表3-3百科语料词向量文件统计情况表词向量维度300d词向量表大小443.2MB其中，从搜狗实验室获取的新闻语料数据达4.52GB。而从淘宝购物网站爬取的商品观点评论数据量为1.85GB。3.3数据集标注与序列标注3.3.1数据集标注由于本课题涉及两部分，即基于记忆网络的中文评论观点属性词抽取和基于记忆网络的中文评论观点句子级情感分类，故需要手动标注2份不同的数据集。1.中文评论观点属性词抽取数据集。本部分数据集分为训练集、验证集和测试集。所标注的数据集的数据条数统计表，如表3-4所示。表3-4中文评论属性词抽取数据集的数据条数统计表数据集类型数据条数训练集1966验证集308测试集755针对各数据集的数据来源，涉及的样本包括：香水、老人机、电脑椅、空气加湿器、电脑主机、电脑显示器、口红、小米手机、大学高数、行车记录仪、监控、耐克男鞋、婚纱和机器人等，该部分涉及的样本和数量占比均随机挑选。各类样本的数量及占比分 西南交通大学硕士研究生学位论文第19页布，如表3-5所示。表3-5各类样本的数量及占比统计情况表样本名数量所占比例香水100.330%老人机300.990%椅子230.759%空气加湿器732.410%电脑主机39413.007%电脑显示器2036.702%口红1424.688%小米手机48816.111%大学高数1003.301%行车记录仪99932.981%监控40213.272%耐克男鞋80.264%婚纱601.980%机器人311.023%其他662.170%由于本课题所涉及的中文评论观点领域并无开源数据集，故需手动标注数据集。在英文观点属性词抽取领域存在大量的实验数据集可用，本课题的数据集标注方式参考了（Association）SigLex组织在2014年主办的国际语义评测会议中的测试任务4：SemEval-2014Task4AspectBasedSentimentAnalysis（ABSA）所提供的数据格式。数据集样本如图3-5所示。图3-5中文评论观点属性词抽取数据集样本 西南交通大学硕士研究生学位论文第20页本课题所采用的数据集是以XML格式保存。其中，sentence标签中包含了用户评论句子信息和观点词信息；text标签的值即为每条用户评论数据；aspectTerms标签中包含多个aspectTerm标签，而aspectTerm标签的term值为用户的评论观点词。sentence标签中必须包含text标签数据，可以不包含aspectTerms标签。如果aspectTerms标签存在，则必须存在aspectTerm标签数据，但aspectTerm标签个数不做限制。2.中文评论情感分类数据集。本部分数据集也分为训练集、验证集和测试集。由于本课题所涉及的中文评论观点领域并无可用的开源数据集，故需手动标注数据集。数据均来自淘宝用户评论。在中文评论观点句子的情感分类，将情感极性分为“积极”、“消极”和“中立”。这里的“中立”是指某些句子里涉及某个事物的多方面评价，但是其中有好的，即“积极”的评价，也有不好的，即“消极”的评价，这种评价句子人为把其归类为“中立”。其中，数据集涉及的评论数据总量达3026条。而各数据集中各个标签的分布如图3-6所示。图中的“2”表示“积极”，“1”表示“中立”，“0”表示“消极”，而图的纵坐标表示数据条数。图3-6中文评价情感分类各个数据集数据分布统计图中文评论情感分类数据集样本如图3-7所示。图3-7中文评论观点情感分类数据集样本图其中，句子“颜色很好看，但牢固度不够，涂一天就掉了”被归类为“中立”，虽然句子中包含对“颜色”的“积极”评价，但是对“牢固度”的评价确实“消极”的，故人为的把这种评价句子归类为“中立”，设置为1。而句子“说不议价，质量也很一般”仅包含“消极”评价，设置为0。句子“这个色号很适合我，双十一也没优惠多少” 西南交通大学硕士研究生学位论文第21页仅包含“积极”，设置为2。3.3.2序列标注序列标注（SequenceLabeling）是对每一个序列的每个元素标注标签的操作。一般来说，元素是指词，序列则表示句子。在本课题中将使用BIO表示法来定义序列标注的标签集。BIO标注通常是将每个元素标注为“B_X”、“I_X”或“O”。在本课题中使用的标注标签为B_AP、I_AP和O，AP是Aspect的缩写。其中，B表示评价观点属性词的开始，B_AP是BeginofAspect的缩写；I表示评价观点属性词的中间，I_AP是InsideofAspect的缩写；O表示其它非评价观点属性词，即Other的缩写。通过B_AP、I_AP和O这个三个标记可以将不同的语块赋予不同标签。序列标注是针对训练集、验证集和测试集的数据的操作。在序列标注前，需要对数据集中的text标签中的句子和aspectTerm标签内的观点词进行中文分词操作。故在序列标注时，遵循以下两点：（1）当观点词的分词结果在句子的分词结果中找不到时，即分词效果不一致。此时，采用的策略是舍弃该部分数据，不进行序列标注操作。（2）在对分词后的数据进行序列标注时，标签I_AP不能单独出现，需要紧跟B_AP之后。而B_AP和O没有特殊要求。以句子“手机的确太好了，满足了我对电量和内和屏幕大小的需求。”中文观点评论句子为例，其观点词包括“电量”、“内存”和“屏幕大小”，序列标注的结果展示如图3-7所示。手机的确太好了，满足了我对电量和内存和屏幕大小的需求。手机/的确/太/好/了/，/满足/了/我/对/电量/和/内存/和/屏幕/大小/的/需求/。OOOOOOOOOOB_APOB_APOB_API_APOOO图3-7BIO序列标注展示图3.4本章小结本章介绍了数据抓取方式和人工数据标注规则，包括实验数据的选择和采集、中文分词、词向量的训练、数据集标注和序列标注。爬取的评论数据将被用作训练领域相关的词向量和标注模型所需的数据集。训练词向量之前，需筛选出无效数据并将语料进行分词操作。训练词向量的语料涉及的领域包括：中文评论观点、网络新闻、百度百科。 西南交通大学硕士研究生学位论文第22页所训练的词向量维度包括：50维、100维、150维、200维、250维、300维、350维。标注的数据集包括：中文评论观点数据集和中文评论情感分类。序列标注主要是针对训练数据集、验证数据集和测试数据集进行，采用BIO表示法。 西南交通大学硕士研究生学位论文第23页第4章基于记忆网络的中文评论观点属性词抽取4.1问题描述本课题涉及中文评论观点抽取，具体来说，主要是抽取中文评价观点句子中的属性词（AspectTerm）。如给定商品评论“这屏幕大小很合适。”，课题任务就是要抽取出句子中的属性词“屏幕大小”。形式化定义就是给定评价句子序列S{,ww,...,w,...,w}，12iN本课题需要找出其中的一个或多个属性词，如抽出其中的一个对象可表示为O{,ww,,w}。这里N表示句子长度，因为本课题任务建立在分词的基础上，所ii1ik以实际表示的是分词后的词序列长度；k表示抽取到的属性词包含连续的k个词，k0表示句子的属性词仅为单个词。实际上，对于包含多个属性词的评价句子来说，分别抽取是异常困难的；一方面是因为多个评价的属性词包含的词个数不固定；另一方面是因为评价的属性词的个数也可能是任意的，可能是2个，也可能是3个或者更多。这给建模带来很大的难度。学术圈常见也是比较完善的做法是将抽取任务转换为序列标注任务来处理。即前面提到的BIO标注法。假设标注集合T{B_AP,AI_P,O}，这里B_AP，I_AP，O分别表示评价属性词的开始，中间和其它非评价属性词。中文评价观点的任务转换为对S中的每个分词做一个三分类，得到一个S对应的标注序列y{,,...,,...,}tttt，其中tT。例如“这屏幕12iNi大小很合适。”的分词结果为“这屏幕大小很合适。”，期望得到的标注序列为“OB_API_APOOO”，通过标注序列，就可以抽取到对应的属性词。4.2基于记忆网络的深度学习抽取模型为了完成上述标注任务，本课题设计了一种新的基于记忆网络的深度学习模型，即基于记忆网络的双向长短期记忆模型（MemorybasedBidirectionLongShort-TermMemory，Me-BiLSTM）。该模型的最大贡献是将记忆网络融入到双向长短期记忆网络（BidirectionLongShort-TermMemory，BiLSTM）中，并在中文评论观点属性词抽取任务上取得了较好的实验效果。模型的出发点是抽取历史句子中存在的评论观点模式存储并应用到未知评论句子上。整个模型的结构如图4-1所示。模型的大体设计思路是：首先应用BiLSTM抽取句子中词与词之间的前后依赖信息；然后将得到的前后依赖信息压缩为句子表征向量，一方面利用表征向量从记忆网络（MemeoryNetwork，MeN）中抽取已经存储的相关评论句子模式向量，另一方面将当前处理的句子模式存储到记忆网络中。最后将句子的前后依赖信息和匹配到的句子模式向量融合，用条件随机场（ConditionalRandomField，CRF）进行最后的句子标注工作。BiLSTM、MeN和CRF分别对应图4-1中的模块。 西南交通大学硕士研究生学位论文第24页OB-API-APOOO++++++M-vectorMemory(t-1)Memory(t)ReadWrite……这屏幕大小很合适。图4-1模型结构图下面各个小节是对本课题提出的Me-BiLSTM进行详细阐述。4.2.1词向量表征词向量表征模块在图4-1中标号为。每个分词后的序列在输入模型前都会被映射到一个固定维度的词向量上，即词向量的初始化。相比于原始的one-hot的稀疏编码，词向量具有更小的维度，能够加速模型的收敛。而且词向量在训练过程中包含了词的语义信息，可以使模型能够取得更好的效果。具体地，对于输入序列S的每个词w，都会被iddV||初始化为词特征向量x，该向量为预训练生成的词向量E中的某一列向量。wi其中d表示词向量维度，||V表示词汇表的大小。常用词向量维度d一般为300，本课题在实验部分也验证了该维度训练的有效性。4.2.2BiLSTM模块BiLSTM主要用来提取句子中词与词的双向依赖关系，得到句子的双向依赖表征。该模块在图4-1中的标号为。简单来说，BiLSTM既采用了LSTM[62]的单元门控思想，又保留了双向RNN的整体结构，其主要特点是既避免了循环神经网络无法解决长距离依赖的问题，又保留双向循环神经网络能获取上下文信息的能力。标准的RNN[63]结构如 西南交通大学硕士研究生学位论文第25页图4-2所示。oVVVVWsWWWW展开UUUUx图4-2标准RNN结构图可以看出，标准RNN是一种具有重复神经网络模块的链式结构。在标准的RNN中，这个重复的模块仅是一个简单的结构，例如是一个tanh层。实际应用中，RNN容易丧失学习到连接较远信息的能力，即存在梯度消失现象。LSTM的出现在一定程度上避免了RNN中存在的长距离依赖问题。其精心设计的的“门控制”使得记住长距离信息成为LSTM的默认能力，LSTM有四层神经网络层，并以一种特殊的方式进行交互，如图4-3所示。x+tanhxxtanh图4-3LSTM结构图[64]更近一步地，BiLSTM是LSTM从句子的两个方向分开训练，目的是获取句子中每个词的前向及后向信息，增强了对句子的表征，弥补LSTM对句子信息提取不足的缺陷。当然也有一些直接基于LSTM所提出的观点抽取模型[65]，但此类模型的F1值并不太高。本课题在实验部分对这两个结构进行了对照对比实验，表明BiLSTM在中文评论抽取任务上的有效性。BiLSTM的简化图如图4-4所示。 西南交通大学硕士研究生学位论文第26页…图4-4BiLSTM简化图结合本课题任务，假设前向LSTM和后向LSTM的输出分别为h和h，则BiLSTMjj的输出由前向输出和后向输出拼接得来，表示为g[;]hh。不论前向还是后向LSTM，jjj其计算方式均采用以下计算过程：假设第j个神经LSTM单元接收到依赖语法特征x、前一个LSTM单元的隐藏状wj态h和神经元状态c，则当前LSTM单元的隐藏状态h和神经元状态c的计算公式j1j1jj见式（4-1）至式（4-6）。()i()i()iijWxwjUhbj1(4-1)()o()o()oojWxwjUhbj1(4-2)()f()f()ffjWxwjUhbj1(4-3)()u()u()uujtahnWxwjUhj1b(4-4)ciufc(4-5)jjjjj1hotanh()c(4-6)jjj(*)其中，i、o和f分别表示输入门、输出门和遗忘门；权重矩阵W大小是dd2，jjj(*)(*)U大小是dd，偏置b大小为d，其中iofu,,,，是logistic函数；表示元素逐一乘法。BiLSTM最后的输出向量g大小为2d。j4.2.3记忆网络MeN模块MeN的作用是调取与存储句子的特定模式，该模块在图4-1中的标号为。MeN模块的实质是神经图灵机网络（NeuralTuringMachine，NTM）。神经图灵机由Alex等人于2016年提出[66]。本课题将原始的NTM与课题任务进行紧密结合，形成单独的MeN模块，目的是存储BiLSTM抽取到的评论观点模式以应用到未知的评论句子上。促进句子与句子之间模式的共享；如“这件衣服的颜色很好看”和“这件衣服的尺寸很合适” 西南交通大学硕士研究生学位论文第27页包含共有句子模式为“这件衣服的什么（被修饰词）怎么样（修饰词）”。模块中BiLSTM提取的句子模式特征存储至MeN的Memory单元，供t时刻调取。MeN包含两个主要操作，即读取和写入。操作对象即记忆单元被形式化为一个二维矩阵M，大小为mn，n表示记忆块数目，m表示记忆块长度。M在网络中会被随机初始化。之后的读取和写入操作都将在M上进行。大概流程如图4-5所示。BiLSTM输入模式特征控制变量读出写入记忆单元（M）图4-5MeN读写流程读取操作的目的是读取迭代过程中保留下来并且和当前句子模式相似的特定句子模式特征。具体地，假设r表示读取得到的模式特征向量，则其读取过程公式，见式（4-t7）。nrtwiMt()t-1()i(4-7)i1其中，t表示第t次迭代；wi()表示对应于第i个记忆块的权重，计算过程包括定位、t偏移和锐化三个过程，公式分别见式（4-8）、式（4-9）和式（4-10）。cexptKkMt,t-1iwit=(4-8)jexp(tKkMt,t-1j)nscwit=wttjsij(4-9)j1stwitwit=s(4-10)wjtjt 西南交通大学硕士研究生学位论文第28页m其中，k是键向量（KeyVector）；是键向量的强度（KeyStrength）；s是ttt偏移向量，|s|表示偏移向量的大小，值得注意的是，该向量是一个循环向量，即下标溢出时为轮循；是锐化系数；K[,]是标准的向量余弦相似度计算公式。可以看出twitt1,0wi1,i。kt、t、st和t的计算公式见式（4-11）至式（4-14）。ikttanh(Wvbkk)(4-11)t=softplus(Wvb)(4-12)st=softmax(Wvbss)(4-13)t=softplus(Wvb)(4-14)||S1其中vgj，即BiLSTM生成的句子特征均值，||S表示句子序列大小；Wk、||Sj1W、W和W为训练的权重矩阵，b、b、b和b为偏置向量。sks写入过程主要是将当前的句子模式写入到记忆矩阵中，该过程分为清除（Erase）和添加（Add）两个阶段，清除操作见式（4-15），添加操作见式（4-16）。Mit=1Mt1iwiett(4-15)Mit=Mitwiatt(4-16)其中，e和a的计算见式（4-17）和（4-18）：ttetsigmoid(Wvbee)(4-17)at=tanh(Wvbaa)(4-18)其中，W和W为训练的权重矩阵，b和b为偏置向量；wi的计算和含义和读eaeat取过程相同，且共享参数。最终将读取的MeN特征向量r与BiLSTM信息进行融合，用来决定最终的标签序t列。r的大小等于记忆矩阵中m的值。读写需要控制变量生成，如图4-6所示。tBiLSTMtanhsoftmaxsoftplussoftplus图4-6读写主要控制变量生成展示图 西南交通大学硕士研究生学位论文第29页4.2.4BiLSTM信息与MeN信息融合本课题的信息融合直接使用了向量的拼接操作，即图4-1中的模块。因为在初期实验对比中相比于直接加和，向量拼接能够得到较好的效果。直观上来讲，拼接保证了信息与信息之间的独立性，而加和却造成了对信息独立性的破坏。以300维的词向量为例，即将BiLSTM输出600维向量与t时刻从MeN读取的向量进行拼接。若设置MeN中记忆矩阵的块大小为50维，此时获取的是650维向量。拼接公式见式（4-19）。fj[;]grjt(4-19)其中，f的大小为2dm。i4.2.5CRF模块句子序列标注即图4-1中的模块。该部分是在给定句子特征及句子模式特征的条件下，计算整个标记序列的联合概率。最后利用计算所得概率值来判定词所属的序列标签，即B_AP、I_AP和O。常用的方法为条件随机场算法（ConditionalRandomFieldAlgorithm，CRF）[67,68]。具体地，将融合特征f{,ff,,f,,f}输入条件随机场，12jN假设y{,yy,,y,,y}是对应的实际输出标签序列，其中yT。所有可能的标签12jNj序列y的集合表示为yf。则线性链条件随机场概率模型定义为对于给定融合特征f在y上的条件概率pyf|;W,b。其具体表达式见式（4-20）。Njyj1,yfj,j1py|bf;W,(4-20)Njyj1,yfj,ygj1TT其中，jyyf,,=expWyy,,fbyy为势函数，Wyy,和byy,分别表示对应于标签对(,)y'y的权重向量和偏置。条件随机场的训练采用极大似然估计，即对于一个训练集合fy,，对应的对数jj似然函数表示见式（4-21）。LW,blog(|;W,b)pyf(4-21)j条件随机场的预测，即用户评论属性标注的目标是找到条件最大的输出序列，见式（4-22）。y*argmax(|;W,b)pyf(4-22)yg 西南交通大学硕士研究生学位论文第30页预测方法采用维特比算法，预测输出即输入分词序列S对应的标注序列。最后根据标注序列中各个标注的含义就可以得到用户评价的对应评价属性词。4.3实验设置与对比方案4.3.1模型设置及说明在本实验中，模型的参数设置以及激活函数和损失函数的选择将直接影响着某些效果。涉及的设置如下：（1）训练批大小（BatchSize）一般来说，在合理的范围内，越大的BatchSize能够使得下降方向越准确，震荡越小；但是BatchSize如果过大可能会导致局部最优的情况。本模型的可用训练数据为手工标注数据，样本数量较少；在10到100，间隔10的10个数值中进行多次测试后发现，20为当前情况下的的最优选择。（2）学习率（LearningRate）学习率决定了网络中权重及偏置的更新速度，设置太大会使得结果超过最优值，太小会使下降速度很慢；在1、0.1、0.001和0.0001这4个常用的学习率中进行的实验表明0.001在本模型中表现最优。（3）学习率衰减系数（LearningRateDecay）学习率决定了参数每次更新的幅度，学习率衰减的核心思想是在其基础上，随着迭代的继续逐步减小学习率，使得模型更加稳定。整个衰减公式为decayedlearningratelearningratedecayrate____^(globalstepdecaysteps_/_)，其中，decayed_learning_rate为每一轮优化时使用的学习率，learning_rate为事先设定的初始学习率，decay_rate为衰减系数，global_step为迭代次数，decay_steps为衰减速度（即迭代多少次进行衰减）。本模型学习率衰减系数设置为经典值0.9。（4）词向量维度（WordEmbedding）由于本模型涉及多个维度词向量的对比实验，故词向量维度包括：50维、100维、150维、200维、250维、300维和350维。（5）MeN记忆矩阵大小（mn）MeN记忆矩阵作为MeN的记忆核心，在与句子表征交互的过程中，需要维护存入和读取数值尺度的均衡。本模型将MeN记忆矩阵中BlockSize大小设置为句子表征中词的维度，即针对LSTM，若输出维度为300，则BlockSize设置为300；针对BiLSTM，若输出维度为600，则BlockSize设置为600；对于Block个数的设置，模型测试了300至1500，间隔为300的5个数值后发现，1200在本模型中表现较为良好。（6）Dropout设置 西南交通大学硕士研究生学位论文第31页Dropout是指在深度学习神经网络训练过程中，按照一定的概率将神经元从网络中暂时丢弃，它能迫使神经元和其他随机余下的神经元共同工作，减弱了神经元之间的联合适应性，增强了泛化性[69]。Dropout近年来被广泛的应用于防止过拟问题。但是在Dropout被广泛证实有效的情况下，也有实验表明其存在例外情况。McMahan等人在论文中就指出Dropout在作用于稠密的特征表示时，能够通过防止特征间的协同作用来对抗过拟合。但若特征稀疏，则Dropout的使用反而会造成信息的损失[70]。在本实验过程中，尝试了不设置Dropout，但是实验效果并不理想，而当Dropout设置为0.5时，本模型实验效果较好。（7）优化器选择适应性矩估计（AdaptiveMomentEstimation，Adam）是一种基于一阶梯度来优化随机目标函数的算法。Adam最早是由Kingma等人在2015年提出[71]。它结合了适应性梯度算法（AdaGrad）[72]和均方根传播算法（RMSProp）[73]。当梯度变得稀疏时，Adam算法的偏差修正的优势就凸显出来，其将表现的更优秀且快速[74]。在本模型中，Adam超参数、和均采用Kingma推荐使用值，分别为0.9、120.999、10e-8。（8）BiLSTM隐藏层神经元数本实验中，我们将BiLSTM中各LSTM的隐藏神经元个数设置为与当前实验词向量维数一致。4.3.2激活函数本模型使用的是最近几年较受欢迎的一种激活函数——修正线性单元（RectifiedLinearUnit，ReLU）[75]。ReLU函数的数学公式见式（4-23）。xx,0iiy(4-23)i0,x0iReLU函数是分段式函数，当输入值为负数时，输出值为固定值0；当输入值为正数时，则输出值不受影响。这种操作被称为单侧抑制，正是单侧抑制操作使得神经网络的神经元具有了稀疏激活性。而这样的神经元稀疏性与神经科学家发现大脑工作方式具有的稀疏性不谋而合。4.3.3损失函数本模型使用的损失函数是交叉熵损失（CrossEntropyLoss）函数见式（4-24）。1C[lnya(1y)ln(1a)](4-24)nx式（2-9）中，y为期望输出，a为神经元的实际输出，a()Wxb，由上式可见， 西南交通大学硕士研究生学位论文第32页当神经元实际输出a和期望输出y相近时，损失函数C趋近于0。损失函数C对权重W和偏置b的导数式见式（4-25）和式（4-26）。C1xi(()zy)(4-25)wnixC1(()zy)(4-26)bnx'当损失函数C分别对权重W和偏置b求偏导时，其导数式中不包含，将不会出现权重更新过慢的情况。4.3.4评价标准本课题所需计算的值包括正确率（Precision）、召回率（Recall）和F1值（F1）。计算方法见式（4-27）、式（4-28）和式（4-29）。correct_predspre(4-27)total_predscorrect_predsrec(4-28)totalcorrect_2prerecf1(4-29)prerec上式中，correct_preds表示被正确分类的样本数；total_preds表示被分为该类的样本总数；total_correct表示原本就属于该类的样本总数。上式中的p、r、f1就分别表示正确率、召回率和F1值。4.3.5实验环境实验使用的机器为MacBookAir，机器环境见表4-1所示。表4-1实验环境环境属性值操作系统OSXYosemitev10.10.3处理器1.6GHzInterCorei5内存4GB1600MHzDDR3图形卡InterHDGraphics60001536MBPython2.7TensorFlow1.2.0 西南交通大学硕士研究生学位论文第33页4.3.6对比方案设计本课题进行对比的实验模型有7个，这7个对比模型可以分为两类，一类是Me-BiLSTM的灼烧实验（AblationExperiments）组，另一类是对照实验组。具体模型信息如表4-2所示。这样的对比有两个目的，第一是为了验证Me-BiLSTM各个部分的有效性，说明记忆网络以BiLSTM结合确实能够在中文评论观点属性词抽取中取得良好的效果；第二是为了验证CRF在序列预测中保持序列的前后关系对实验性能的影响，相比于直接每个构成词做多分类，即全连接（FullConnection，FC），是否有实质的提升。表4-2模型实验对比方案组类别模型名称模型简述将前向LSTM和CRF相结合，对比Me-BiLSTM，LSTM+CRF[48]BiLSTM替换为了LSTM且缺少MeN模块。将BiLSTM和CTF相结合。对比Me-BiLSTM，缺少灼烧实验组BiLSTM+CRF[48]MeN模块。Me-LSTM(CRF)对比Me-BiLSTM，BiLSTM替换为了LSTM。Me-BiLSTM本课题所提模型，基于记忆网络的双向长短期记忆模型。LSTM+FC对比LSTM+CRF，CRF替换为了FC。BiLSTM+FC对比BiLSTM+CRF，CRF替换为了FC。对照实验组Me-LSTM(FC)对比Me-LSTM(CRF)，CRF替换为了FC。Me-BiLSTM(FC)对比Me-BiLSTM，CRF替换为了FC。4.4实验结果与分析本课题涉及的实验对比的影响因素可分为3个，即：不同模型结果对比、不同语料训练的词向量的影响对比、不同词向量维度的影响对比。实验数据集及训练语已在第3章给出。实验数据为10次重复实验的结果均值。4.4.1不同模型结果对比条件设置：使用同一个中文评论数据集，评论观点语料训练的词向量且词向量维度设置为300维，对比不同模型的实验结果。评价指标：正确率Precision、召回率Recall和F1值。各模型实验结果，见表4-3。 西南交通大学硕士研究生学位论文第34页表4-3深度模型对比实验结果表（%）模型方法PrecisionRecallF1值LSTM+FC72.2773.3472.64LSTM+CRF[48]80.5880.7980.64BiLSTM+FC79.9379.4379.68BiLSTM+CRF[48]85.7782.2783.98Me-LSTM(FC)76.0575.4175.71Me-LSTM(CRF)77.9683.4080.51Me-BiLSTM(FC)80.2380.0480.12Me-BiLSTM86.2584.0385.11表中数据均是10次实验数据取平均值所得，由实验数据可知：（1）Me-BiLSTM模型和BiLSTM+CRF模型效果明显优于其他模型。而Me-BiLSTM模型表现更优。（2）从表中数据来看，LSTM+FC模型、Me-LSTM(FC)模型和Me-LSTM(FC)模型效果较差。全连接层在本实验中不但无法提升实验效果，反而影响组合模型实验效果。相比之下，CRF的优势比较明显。（3）Me-BiLSTM模型相比于BiLSTM+CRF模型，效果有所提升。但由于MeN本身调优难度大，故其潜在的提升空间依然巨大。9085807570Precision(%)6560555012345678910第i次重复实验LSTM+FCLSTM+CRFBiLSTM+FCBiLSTM+CRFMe-LSTM(FC)Me-LSTM(CRF)Me-BiLSTM(FC)Me-BiLSTM图4-7Percision对比曲线 西南交通大学硕士研究生学位论文第35页9085807570Recall(%)6560555012345678910第i次重复实验LSTM+FCLSTM+CRFBiLSTM+FCBiLSTM+CRFMe-LSTM(FC)Me-LSTM(CRF)Me-BiLSTM(FC)Me-BiLSTM图4-8Recall对比曲线9085807570F1(%)6560555012345678910第i次重复实验LSTM+FCLSTM+CRFBiLSTM+FCBiLSTM+CRFMe-LSTM(FC)Me-LSTM(CRF)Me-BiLSTM(FC)Me-BiLSTM图4-9F1值对比曲线10次实验数据对比如图4-7、图4-8和图4-9所示。可以看出Me-LSTM在这三个指 西南交通大学硕士研究生学位论文第36页标上面始终保持较好地结果，并且相比于其它模型表现得更为稳定。这里值得注意的是，模型结果不稳定不是模型不收敛的表现，这是标注任务的难点导致的；举个例子来说，如长度为10的正确序列为“OB-API-APOOOOB-APOO”，则模型标注为“OB-APOOOOOOOO”或“OOOOOOOB-APOO”的标注错误个数均为2个；但是仔细观察就会发现，对于第一个模型输出来说，一个属性词都没有抽取正确，而第二个标注却正确抽取出了一个属性词。固然，标注错误越少，抽取的属性词结果越准确。4.4.2不同词向量影响的对比条件设置：各词向量维度设置为300维，Me-BiLSTM模型。模型方法：训练词向量的语料不同，分别来自淘宝网站用户评论、搜狗新闻网和百度百科。这些语料训练所得的词向量分别名为<淘宝词向量>、<搜狗词向量>和<百科词向量>。比较数据：正确率Precision、召回率Recall和F1值。各语料训练的词向量对实验模型效果影响，见表4-4。表4-4不同词向量影响结果表（%）模型方法PrecisionRecallF1值<淘宝词向量>86.2584.0385.11<搜狗词向量>84.3880.9282.59<百科词向量>74.3671.9472.98由上表可知，相比于搜狗新闻和百度百科语料，由淘宝用户评论语料训练所得的词向量在模型上表现更优。而<淘宝词向量>与<搜狗词向量>的差距并不太大，不排除受语料量的大小的影响。搜狗新闻语料数据达4.52GB，其训练出的词向量达1.38GB，而淘宝用户评论语料数据量仅1.85GB，训练所得的词向量为429.9MB。4.4.3不同词向量维度影响的对比条件设置：使用同一个评论观点数据集，针对搜狗新闻语料训练的不同词向量维度对比。实验模型：Me-BiLSTM。比较数据：F1值。不同词向量维度的实验效果对比，如图4-10所示。 西南交通大学硕士研究生学位论文第37页8583.938483.128382.4582.2981.6682）%81.0281值（79.76F18079787750100150200250300350词向量维度图4-10不同词向量维度实验效果对比图由上图可知，针对同一语料训练的词向量，300维的词向量效果最好。故在不同模型和不同词向量的对比实验中，均采用300维的词向量。4.5本章小结本章详细介绍了本课题提出的基于记忆网络的中文评论观点属性词抽取模型（Me-BiLSTM）以及模型对比。涉及词向量维度包括：50维、100维、150维、200维、250维、300维、350维。涉及模型包括：LSTM+FC模型、LSTM+CRF模型、BiLSTM+FC模型、BiLSTM+CRF模型、Me-LSTM(FC)模型、Me-LSTM(CRF)模型、Me-BiLSTM(FC)模型、Me-BiLSTM模型。对比实验包括：（1）相同词向量且词向量维度是300维时，各模型对应的precision值、recall值和F1值对比；（2）词向量维度为300维但不同语料训练的词向量对模型Me-BiLSTM的影响结果对比；（3）同一语料训练的不同维度词向量对模型Me-BiLSTM的影响效果对比。从3组对比实验数据看来，本课题提出的Me-BiLSTM模型实验效果最好。 西南交通大学硕士研究生学位论文第38页第5章基于记忆网络的中文评论观点句子级情感分类5.1问题描述中文评论里除了中文评论属性词抽取外，还有可以通过分析句子的极性来获取评论语句中的观点信息，如评价句子情感分类，这也是本课题尝试解决的第二个任务。相比于评价观点词抽取，句子情感分类任务相对直观，例如针对评价句子“这屏幕大小很合适。”，句子情感分类仅仅需要把该句子归类到“积极”就好。其它的情感极性除了“积极”，一般还包括“消极”和“中立”。这里的“中立”是指某些句子里涉及某个事物的多方面评价，但是其中有好的，即“积极”的评价，也有不好的，即“消极”的评价，这种评价句子人为把其归类为“中立”。例如“总体还不错，芝士虾好吃，三文鱼不是特好吃。”假定给定评价句子序列S{,ww,...,w,...,w}，句子情感分类的目标是对S做一个12iN三分类，即从集合C{}积极，消极，中立中选择适当的标签。对于句子级情感分类来说，难点在于表征句子中与情感相关的词语；如，“这屏幕大小很合适”中的“很合适”。所以比较直观的方法是构建一个情感词表，然后匹配涉及到的情感词，最后再中和所有的情感词极性作为最终的句子极性。这种方法的缺陷在于，不可能包含所以的情感词，而且相同的情感词可能在不同的上下文语境中表现出截然相反的意思；如，“散热快”针对笔记本和保温杯来说，极性可以前者表示的是“好”，而后者“不好”。深度学习强大的表征能力在句子分类中的极大优势在于上下文语境的表达；通过前后词语的关联建模，使得神经网络在句子分类任务上相比于经典方法更具有优势，其中LSTM[54]或者BiLSTM则是成功的典范模型；不过，只是建模句子中词语的上下文关系是不够的，对相似句子模式的挖掘和应用或许能够提升句子的分类效果；如“我喜欢这件衣服的颜色”和“小丽非常喜欢那条裙子的颜色”都表现出“[某人]喜欢[某物]”这种模式；对于人来说，这种模式抽取与利用是非常简单的，而对于模型来说较为困难；这是本章节需要解决的问题。5.2基于记忆网络的深度学习分类模型关于中文句子的评价情感分类任务，本课题提出的基于记忆网络的深度学习分类模型，即基于记忆网络的双向长短期记忆分类模型（MemorybasedBidirectionLongShort-TermMemoryforClassification，Me-BiLSTM-C），主体建立在第4章所提模型的基础上，是第4章模型的延伸。具体模型框架如图5-1所示。 西南交通大学硕士研究生学位论文第39页积极消极中立Softmax+ConcatenateM-vectorMemory(t-1)Memory(t)ReadWrite……这屏幕大小很合适。图5-1基于记忆网络的深度学习分类模型图可以看出，该模型的、和直接借用了基于记忆网络的深度学习抽取模型的对应内容。不同点主要体现在特征融合和分类器上。实际上，现有的大量有关中文评论情感分类的深度学习研究框架大多都基于LSTM[54]或基于BiLSTM的，本论文则是在此基础上结合记忆网络，给出了针对句子级情感分类的一个新思路。5.2.1词向量表征与4.2.1类似，即每个分词后的序列在输入模型前都会被映射到一个固定维度的词向量上，即词向量的初始化。5.2.2BiLSTM模块与4.2.2类似地，BiLSTM是本模型中的句子中前后单词依赖的基础表征模型，主要将输入的词向量和单词的双向依赖即上下文信息进行编码输出。与4.2.2不同之处在于最后的表征输出上，由于第4章中需要解决的任务是标注任务，需要对句子中的每个单词打上预定义的标签，故每个单词的表征都需要用到。而本章节需要解决的是句子的分类任务，即最后关心的是句子的表达问题而不再是每个单词的表达，所以BiLSTM只需要前向的最后输出和后向的最后输出即可，即h和h。这样做合理的理由是，LSTM从Nl 西南交通大学硕士研究生学位论文第40页前往后传播的过程中，前面词语的信息会通过隐藏层状态逐次传到后面的神经元中，即LSTM最后的神经元积累了所有词语的表征信息，可以看作是句子单个方向上的表达。BiLSTM模块还有一个重要作用就是生产MeN的写入内容和读取凭据。这部分和4.2.3节并无差异。5.2.3MeN模块相比于第4章的MeN，本模型的写入内容和读取凭据也可以使用h和h来替代。Nl但是这样就使得句子的信息类别变得单一，使用句子中每个词语的表征均值使得信息表达更加丰富，简单的初期实验对比也证明了原始做法的正确性。MeN中的记忆矩阵大小同样也是1200[句子的表征维度]；即针对LSTM来说句子的表征维度为300，针对BiLSTM来说为600。5.2.4BiLSTM信息与MeN信息融合即图5-1中的Concatenate部分，同4.2.4类似，该部分信息融合直接使用了向量的拼接操作。直观上来讲，拼接保证了信息与信息之间的独立性，而加和却造成了对信息独立性的破坏。初期的分类实验对比再次印证了相比于直接加和，向量拼接能够得到较好的效果。这里的融合特征f的公式见式（5-1）。f[hhr;;](5-1)Ntl其中，h表示LSTM前向传递的最后一个神经元输出；h表示LSTM后向传递的N1最后一个（下标为前向传递序号，故为1）神经元输出；r同样表示MeN的输出；所以tf的大小为2dm。5.2.5Softmax层将融合之后的特征映射到集合C上的常用方法是Softmax函数，见式（5-2）。yˆsoftmax(Wfb)(5-2)其中，yˆ表示模型预测分布；权重W和偏置b均是需要学习的参数，W大小为||(2Cdm)，||C表示C集合大小，这里为3。Softmax回归（SoftmaxRegression）是一种逻辑回归的一般形式。对于多分类问题，基于多项式分布的Softmax回归模型是属于广义线性模型[76]。以三分类为例，Softmax判别函数hx()见式（5-3）。(1)(1)()mm()其中，是模型参数，x,y,...,(x,y是模型的训练集。当Softmax作为分3T()T()类器，其exji1，有exji概率值的大小来判定所属类别。j1 西南交通大学硕士研究生学位论文第41页Tpy(()ii1|x();ex1()i()i()i()i1T()ihx()py(2|x;ex2(5-3)3T()iexj()ii()j1T()ipy(3|x;ex3最后的分类结果取最大输出概率值对于的标签。5.3实验设置与对比方案5.3.1模型设置及说明在本实验中，模型的参数是在多次初期实验对比后的最优值，具体参数设置如表5-1所示。表5-1模型的部分参数设置表参数值训练批大小（BatchSize）20学习率（LearningRate）0.001学习率衰减系数（LearningRateDecay）0.9词向量维度（WordEmbedding）--MeN记忆矩阵大小（mn）--Dropout0.5优化器（Optimizer）Adam其中，由于本模型涉及多个维度词向量的对比实验，故词向量维度无固定值；Block数设置为词向量维度的4倍值；Adam优化器的超参数、和分别为0.9、0.999、1210e-8。5.3.2激活函数在实验中，本课题分别尝试了sigmoid函数和tanh函数做为激活函数，但是模型的实验效果均没有使用ReLU函数时好。所以，本模型使用的是ReLU函数，从模型本身来说，ReLU函数能保持梯度不变，可以缓解sigmoid函数和tanh函数可能出现的梯度消失问题。5.3.3损失函数i给定句子序列S，若其真实标签为y，将其执行one-hot编码后（即y=1表示第i类， 西南交通大学硕士研究生学位论文第42页其它的y元素为0），损失函数的定义如式（5-4）所示。||CjjLylog(yˆ)(5-4)j1可以看到L即常用的交叉熵损失。该损失函数可以用批量随机梯度下降（SGD）来进行训练。相比于其它损失函数如均方差函数，当训练结果接近真实值时会因为梯度算子极小，均方差函数会使模型的收敛速度变得非常慢。而由于交叉熵损失函数为对数函数，在接近上边界的时候，其仍然可以保持在高梯度状态，因此模型的收敛速度不会受到影响。5.3.4评价标准相比于正确率、召回率和F1值需要区分正负极性，中文评价文本分类任务中常用的评价指标为准确率（Accuracy）。其具体计算方法见式（5-5）。correct_predsacc(5-5)totalnum_上式中，correct_preds表示被正确分类的样本数；total_num表示样本总数，此处的样本数并不做极性区分。5.3.5实验环境实验使用的机器为MacBookAir，机器环境见表5-2所示。表5-2实验环境环境属性值操作系统OSXYosemitev10.10.3处理器1.6GHzInterCorei5内存4GB1600MHzDDR3图形卡InterHDGraphics60001536MBPython2.7TensorFlow1.2.0虽然在深度学习模型实验中使用GPU可提高实验速度，减少时间成本，但在本Me-BiLSTM-C模型实验过程中，仅使用CPU并不影响模型训练，且相比于直接使用GPU，所增加的时间成本保持在合理的范围内。 西南交通大学硕士研究生学位论文第43页5.3.6对比方案设计本任务进行对比的实验模型包括基于LSTM的句子级情感分类模型、基于BiLSTM的句子级情感分类模型和Me-BiLSTM-C模型，主要目的是验证Me-BiLSTM-C的有效性。实验对比方案见表5-3。表5-3模型实验对比方案模型名称模型简述将前向LSTM的最后一个神经元输出直接输入到Softmax中进LSTM[54]行最后的分类。将BiLSTM的前向传递的最后一个输出和后向传递的最后一个BiLSTM输出进行拼接，然后输入到Softmax进行最后的分类。本课题所提模型，基于记忆网络的双向长短期记忆模型。用于Me-BiLSTM-C中文评论情感分类。5.4实验结果与分析本课题涉及的实验对比的影响因素可分为3个，即：不同模型结果对比、不同语料训练的词向量的影响对比、不同词向量维度的影响对比。实验数据集及不同词向量训练已在第3章给出。对比实验展示数据为10次重复实验的的结果均值。5.4.1不同模型结果对比为了证明所提模型Me-BiLSTM-C在中文观点句子级情感分类的有效性，本课题使用同一个评论观点数据集在相同的评论观点语料训练的词向量上进行了对比实验。实验的对比模型为LSTM、BiLSTM，比较结果见表5-4。表5-4深度模型对比实验结果表（%）模型方法AccuracyLSTM[54]84.24BiLSTM88.48Me-BiLSTM-C90.07由上表实验数据可知： 西南交通大学硕士研究生学位论文第44页（1）相比于LSTM，BiLSTM应用于句子级情感分类效果更好，能够提升4.24%的准确率，这表明BiLSTM能弥补LSTM对句子上下文信息获取不足的缺点，同时表明了双向传播对句子情感分类中是非常重要的，更够带来极大地准确率提升。（2）Me-BiLSTM-C模型在中文评论情感分类上表现的明显比LSTM和BiLSTM模型更优秀，分别有5.83%和1.59%的准确率提升。这证明了MeN模块应用至句子级情感分类的有效性。92908886Accuracy(%)84828012345678910第i次重复实验LSTMBiLSTMMe-BiLSTM-C图5-2Accuracy对比图图5-2展示了10次重复实验各次的表现出的准确率值，由图可以得出，相比于第4章中的属性词标注来说，句子分类的结果更加稳定。原因是一个句子仅仅需要做一个分类，训练效果的好坏与最终的结果精度是正相关关系。而属性词标注时训练的好坏与最后的结果精度并没有绝对的正相关关系，原因已在第4章中阐述。从图中的结果来看，10次重复试验均表明了Me-BiLST-C在中文评论观点句子的分类上相比于另外两个方法来说，有绝对的准确率优势。表明了所提模型的有效性。5.4.2不同词向量影响的对比词向量对于自然语言处理来说，不仅会影响最终的效果，也会影响模型的收敛性。对不同词向量进行对比，目的是为了查看领域内词向量对同领域任务的最终影响。对比实验考察了各词向量在Me-BiLSTM-C模型的准确率影响。词向量维度设置为300维。词向量维度对比实验详见下一小节。本课题针对中文观点句子级情感分类，词向量训练语料分别来自淘宝网站用户评论、搜狗新闻网和百度百科。训练所得的词向量分别名为<淘宝词向量>、<搜狗词向量>和<百科词向量>。 西南交通大学硕士研究生学位论文第45页其中，新闻数据具有较为严格的语法，对分词效果的影响较小，其次是百科数据，最后的电商评论较为口语化，对分词的影响最大。但是淘宝语料涉及的观点评论句子最多，表现出最大的相关性，相比于百科和新闻数据来说，更有利于最终的情感分类效果。各语料训练的词向量对实验模型效果影响，见表5-5。表5-5不同词向量影响结果表（%）模型方法Accuracy<淘宝词向量>90.07<搜狗词向量>87.68<百科词向量>86.75由上表可知，当词向量维度均为300维时，相比于搜狗新闻和百度百科语料，由淘宝用户评论语料训练所得的词向量在模型上表现更优，且优势明显。这也证明了上述观点正确性。虽然搜狗新闻语料训练出的词向量达1.38GB，而淘宝用户评论语料所训练的词向量为仅429.9MB。但淘宝用户评论语料训练所得的词向量在模型上表现优势依然明显。5.4.3不同词向量维度影响的对比针对不同词向量维度对模型的影响大小，本节使用淘宝语料训练的不同词向量维度在Me-BiLSTM-C进行对比实验。不同词向量维度的实验准确率对比，见图5-3所示。9190.07908988.4888.4888.6188.088887.288786.23Accuracy(%)86858450100150200250300350词向量维度图5-3不同词向量维度实验效果对比图 西南交通大学硕士研究生学位论文第46页由图5-3可知，使用同一语料训练的不同维度词向量来初始化Me-BiLSTM-C模型，虽然不同的词向量维度确实表现出了准确度上的波动，但是总体来说，当词向量维度为300维时，模型效果最好。故在不同模型和不同词向量的对比实验中，均采用300维的词向量。5.5本章小结本章详细介绍了本课题提出的基于记忆网络的中文评论观点句子级情感分类模型（Me-BiLSTM-C）。本模型实验是基于句子级（SentenceLevel）的情感分类[77]，故采用的数据集的极性划分是针对句子，而不是句子的实体[78]。其处理机制区别于一些中文情感分类模型[79,80]，本模型不涉及停用词过滤和使用情感词典等。在模型对比实验中，涉及词向量维度包括：50维、100维、150维、200维、250维、300维、350维。涉及模型包括：LSTM模型、BiLSTM模型、Me-BiLSTM-C模型。对比实验包括：（1）相同词向量且词向量维度是300维时，各模型对应的Accuracy值对比；（2）词向量维度为300维但不同语料训练的词向量对模型Me-BiLSTM-C的影响结果对比；（3）同一语料训练的不同维度词向量对模型Me-BiLSTM-C的影响效果对比。从3组对比实验数据看来，本课题提出的Me-BiLSTM-C模型实验效果最好。 西南交通大学硕士研究生学位论文第47页总结与展望工作总结深度学习可以说是近两年来较为热门的研究方向。而自然语言处理可谓是实现中文人工智能较为重要一步，机器需要理解人类语言并将人类所需的信息传递给人类。传统的自然语言处理算法在中文处理上已经取得较大进步。但不得不说，深度学习模拟人脑机制，自然语言又是人类发明的产物，而将深度学习应用至自然语言处理必然是一个新颖的方向，也有其发展空间。本课题就是将深度学习应用至中文观点属性词抽取，实验效果也较为理想。本课题的主要工作和贡献如下：1.网络爬虫技术研究。首先通过分析淘宝网站的评论观点请求接口，利用Python和Selenium解析HTML页面，获取大量的商品ID，再通过商品ID请求海量用户评论数据。这些数据一方面用作词向量训练的语料，另一方面用来筛选和标注训练集、验证集和测试集，以训练和评价提出的模型。2.词向量训练。好的词向量能够加速模型的训练，并在小数据集上能够提升模型性能。本课题训练向量的语料包括自行抓取的淘宝用户评论观点语料、搜狗新闻语料和百度百科语料，并在这三种语料上训练不同维度的词向量用于模型实验。3.数据集标注。由于中文评论观点研究中数据集较少且未公开，本课题自行构建并人工标注数据集，包括中文评论观点数据集和中文评论情感分类数据集。标注参照了SemEval-2014Task4的数据集标注方式。4.提出基于记忆网络的中文评论观点属性词抽取（Me-BiLSTM）。该模型的最大贡献是将记忆网络融入到双向长短期记忆网络（BidirectionLongShort-TermMemory，BiLSTM）中，出发点是抽取历史句子中存在的评论观点模式存储并应用到未知评论句子上。与7个基准组合模型进行的比较实验表明了Me-BiLSTM在观点属性词抽取任务上的有效性。5.提出基于记忆网络的深度学习中文评论句子级情感分类模型（Me-BiLSTM-C），Me-BiLSTM-C的主体建立在Me-BiLSTM的基础上，是Me-BiLSTM的延伸。与2个基准组合模型进行的比较实验表明了Me-BiLSTM-C在句子级情感分类任务上的有效性。工作展望本课题不仅提出了基于记忆网络的中文评论观点属性词抽取（Me-BiLSTM）和提出基于记忆网络的深度学习中文评论句子级情感分类模型（Me-BiLSTM-C），还将这两个模型分别进行了对比实验。Me-BiLSTM与7个基准组合模型的对比实验效果表明Me- 西南交通大学硕士研究生学位论文第48页BiLSTM更优，且Me-BiLSTM-C与2个基准组合模型的对比实验效果也表明Me-BiLSTM-C更优。但由于时间问题，模型本身以及模型训练上，仍有很大的提升空间，接下的优化工作可从以下几个方面进行：1.本课题所使用的语料数据纯度是足够的，但仍可以增加数据量，譬如从京东、大众点评等中文网站上爬取用户评论信息。2.MeN作为本课题的创新应用点，在实验过程中的参数设置及读写内容还有很大的提升空间调优余地。3.在句子级情感分类中，本实验并未考虑极性不平衡问题，可作为后期的一个工作方向。 西南交通大学硕士研究生学位论文第49页致谢时光飞逝，岁月如梭。这三年研究生生涯就要这样的结束了。对于过去、现在和未来，我都抱有一颗感恩的心，感谢在这飞逝的三年遇到的人和事。回想研究生阶段收获满满，工作也还行。在这里我必须感谢我的研究生导师——黄洪老师。首先感谢他对于我学业的指导，其次感谢他对于我研究生阶段的宽容，让我有选择的权力，有机会发现自己的兴趣所在，并将其发展成自己未来的事业，也是因为这样让我能自信的面对未来的职业生涯。感谢我实习阶段的同事们，是他们让我体会到了不一样的经历，为我将来的职业生涯打下一定的基础。感谢在学业上支持我的同学们，这里要郑重地感谢罗怀芍同学在我毕业设计上的指导和支持，如果没有他的耐心和体贴，我想对于一个长期在外实习的人是很难按质按量地完成本论文。感谢我的父母，是他们的支持让我拥有前进的动力。虽然最近有点小小的不愉快，但我知道他们永远都是我可以停靠的港湾。也感谢我的外婆，希望永远铭记。感谢我的母校西南交通大学，在这块美丽的土地我度过了我宝贵的本科和研究生七年的时间，看着校园中的树变得郁郁葱葱，感动满满。最后，感谢我的审阅和答辩老师，是你们不辞辛苦，促使我不断完善我的毕业设计论文。 西南交通大学硕士研究生学位论文第50页参考文献[1]G.E.Hinton,S.Osindero,Y.WThe.AFastLearningAlgorithmforDeepBeliefNets[J].NeuralComputation,2006,18(7):1527-1554.[2]M.Ranzato,Y.Boureau,S.Chopra,Y.LeCun.AUnifiedEnergy-basedFrameworkforUnsupervisedLearining[C]//ProceddingofConferenceonAIandStatistics(AI-Stats),2007:371-379.[3]刘建伟,刘媛,罗雄麟.深度学习研究进展[J].计算机应用研究,2014,31(7):1921-1942.[4]HyunAhSong,Soo-YoungLee.HierarchicalRepresentationUsingNMF[J].SpringerBerlinHeidelberg,2013:466-473.[5]D.C.Ciresanetal.,DeepBigSimpleNeuralNetsforHandwrittenDigitRecognition[J].NeuralComputation,2010,22:3207–3220.[6]孙志军,薛磊,许阳明,王正.深度学习研究综述[J].计算机应用研究,2012,29(8):2806-2810.[7]BengioY,DucharmeR,VincentP,eral.ANeuralProbabilisticLanguageModel[J].TheJournalofMachineLearningResearch,2003,3:1137-1155.[8]MikolovT,ChenK,CorradoG,etal.EfficientEstimationofWordRepresentationsinVectorSpace[C]//ProceedingsoftheInternationalConferenceonLearningRepresentations,2013:1-12.[9]TaiKS,SocherR,ManningCD.ImprovedSemanticRepresentationsfromTreeStructuredLongShort-termMemoryNetworks[C]//ProceedingsoftheAnnualMeetingoftheAssociationforComputationallinguistics,2015:1556-1566.[10]LiJ,LuongMT,JurafskyD.AHierarchicalNeuralAutoencoderforParagraphsandDocuments[C]//ProceedingsoftheAnnualMeetingoftheAssociationforComputationallinguistics,2015:1106-1115.[11]SutskeverI,VinyalsO,LeQVV.SequencetoSequenceLearningwithNeuralNetworks[J].NeuralInformationProcessingSystems,2014:3104-3112.[12]KimY.ConvolutionalNeuralNetworksforSentenceClassification[J].EmpiricalMethodsinNaturalLanguageProcessing,2014:1746-1751.[13]ShenY,HeX,GaoJ,etal.LearningSemanticRepresentationsUsingConvolutionalNeuralNetworksforWebSearch[C]//ProceedingsoftheCompanionPublicationofthe23rdInternationalConferenceonWorldWideWebCompanion.InternationalWorldWideWebConferencesSteeringCommittee,2014:323-374. 西南交通大学硕士研究生学位论文第51页[14]VinyalsO,KaiserL,KooT,etal.GrammarasAForeignLanguage[J].NeuralInformationProcessingSystems,2015:2773-2781.[15]YuH,HantzivassiloglouV.towardsAnsweringOpinionQuestions:SeparatingFactsfromOpinionsandIdentifyingthePolarityofOpinionSentences[C]//Proceedingofthe8thConferenceonEmpiricalMethodsinNaturalLanguageProcessing,2003:129-136.[16]GamonM,AueA,Corston-OliverS,RinggerE.Pulse:MiningCustomerOpinionsfromFreeTest[C]//Proceedingsofthe6thInternationalSymposiumonIntelligentDataAnalysis,2005:121-132.[17]YiJ,NiblackW.SentimentmininginWebFountain[C]//ProceedingsofIEEEComputerSocietyPress,2005:1073-1083.[18]LiuB,HuM,ChengJ.OpinionObserver:AnalyzingandComparingOpinionsontheWeb[C]//Proceedingsofthe14thInternationalConferenceonWorldWideWeb,2005:342-351.[19]BenjaminT,RaymondY,etal.PolarityClassificationofCelebrityCoverageintheChinesePress[C]//ProceedingsoftheInternationalConferenceonIntelligenceAnalysis,2005:102-108.[20]HuM,LiuB.MiningOpinionFeaturesinCustomerReviews[C]//Proceedingsof9thNationalConferenceonArtificialIntelligence,2004:755-760.[21]李实,叶强,李一军.中文网络客户评论的产品特征挖掘方法研究[J].管理科学学报,2009,12(2):142-152.[22]ZhengY,YeL,WuG,etal.ExtractingProductFeaturesfromChineseCustomerReviews[C]//Proceedingsof3rdInternationalConferenceonIntelligentSystemandKnowledgeEngineering,2008:285-290.[23]KumarR,RaghuveerK.DependencyDrivenSemanticApproachtoProductFeaturesExtractionandSummarizationUsingCustomerReviews[C]//Proceedingsofthe2ndInternationalConferenceonAdvancesinComputingandInformationTechnology,2012:225-238.[24]QiuG,LiuB,BuJ,etal.OpinionWordExpansionandTargetExtractionthroughDoublePropagation[J].ComputationalLinguistics,2011,37(1):9-27.[25]WangYong,ZhangQin,YangXiaojie.ResearchontheMethodofExtractingFeaturesfromChineseProductReviewsontheInternet[J].NewTechnologyofLibraryandInformationService,2013(12):70-73.[26]黄晓斌,周珍妮.观点挖掘在竞争对手分析中的应用[J].情报资料工作,2010(5):89-93. 西南交通大学硕士研究生学位论文第52页[27]周珍妮,黄晓斌.网络用户评论在企业竞争情报研究中的应用[J].情报理论与实践,2012,35(5):15-20.[28]王庆福.中文情感分析综述[J].电脑知识与技术,2016,16(12):133-134.[29]DuWeifu,TanSongbo,ChengXueqi,etal.AdaptingInformationBottleneckMethodforAutomaticConstructionofDomain-orientedSentimentLexicon[C]//Proceedingsofthe3rdtheInternationalConferenceonWebSearchandDataMining,2010:111-120.[30]王素格,李德玉,魏英杰.基于赋权粗糙隶属度的文本情感分类方法[J].计算机研究与发展,2011,48(5):855-861.[31]PangB,LeeL,VaithyanathanS.ThumbsUp:SentimentClassificationusingMachineLearningTechniques[C]//Proceedingsofthe40thAnnualMeetingonAssociationforComputationalLinguistics,2002:79-86.[32]TurneyP.ThumbsUporThumbsDown:SemanticOrientationAppliedtoUnsupervisedClassificationofReviews[C]//Proceedingsofthe40thAnnualMeetingonAssociationforComputationalLinguistics,2002:417-424.[33]SubasicP,HuettnerA.AffectAnalysisofTextusingFuzzySemanticTyping[J].IEEETransonFuzzySystems,2001,9(4):417-424.[34]RakeshA,RajagopalanS,SrikantR,etal.MiningNewsgroupsusingNetworksArisingfromSocialBehavior[C]//Proceedingsofthe12thInternationalConferenceonWorldWideWeb,2003:529-535.[35]李素科,蒋严冰.基于情感特征聚类的半监督情感分类[J].计算机研究与发展,2013,50(12):2570-2577.[36]TongS,KollerD.SupportVectorMachineActiveLearningwithApplicationstoTextClassification[J].JournalofMachineLearningResearch,2002,2:45-66.[37]BlumA,MithchellT.CombiningLabeledandUnlabeledDatawithCo-training[C]//Proceedingsofthe11thAnnualConferenceonComputationalLearningTheory,1998:92-100.[38]陈龙,管子玉,何金红,彭进业.情感分类研究进展[J].2017,54(6):1150-1170.[39]谷乐,史九林.软件测试技术概述[M].北京:清华大学出版社,2004:395-405.[40]TensorFlow[EB/OL].https://en.wikipedia.org/wiki/TensorFlow.[41]PontikiM,GalanisD,etal.SemEval-2014Task4:AspectBasedSentimentAnalysis[C]//Proceedingsofthe8thInternationalWorkshoponSemanticEvaluation,2014:27-35.[42]GamonM,AueA,OliverS,etal.Pulse:MiningCustomerOpinionsfromFreeText[C]//Proceedingsofthe6thInternationalSymposiumonIntelligentDataAnalysis, 西南交通大学硕士研究生学位论文第53页2005:121-132.[43]ProbstK,GhaiMKR,FanoA,etal.Semi-supervisedLearningofAttribute-valuePairsfromProductDescriptiona[C]//Proceedingsofthe20thIntenationalJointConferenceonArtificialIntelligence,2007:2838-2843.[44]RajuS,PingaliP,VarmaV.AnUnsupervisedApproachtoProductAttributeExtraction[C]//Proceedingsofthe31EuropeanConferenceonIRResearch,2009:796-900.[45]奚雪峰,周国栋.面向自然语言处理的深度学习研究[J].自动化学报,2016,42(10):1445-1465.[46]TohZQ,WangWT.DLIREC:AspectTermExtractionandTermPolarityClassificationSystem[C]//Proceedingsofthe8InternationalWorkshoponSemanticEvaluation,2014:235-240.[47]CollobertR,WestonJ,BottouL,KarlenM,KavukcuogluK,KuksaP.Naturallanguageprocessing(almost)fromscratch[J].TheJournalofMachineLearningResearch,2011,12:2493−2537.[48]HuangZH,XuW,YuK.BidirectionalLSTM-CRFModelsforSequenceTagging[J].arXiv:ComputationandLanguage,2015.[49]娄德成,姚天昉.汉语句子语义极性和观点抽取方法的研究[J].计算机应用,2006,26(11):2622-2625.[50]LiuYM,ChenYD.ResearchonChineseMicro-blogSentimentAnalysisBasedonDeepLearning[C]//Proceedingsof8thInternationalSymposiumonComputionalIntelligenceandDesign,2015:358-361.[51]YuYH,LiHF,MengJ,ZhaoZH.VisualandTextualSentimentAnalysisofaMicroblogUsingDeepConvolutionNeuralNetworks[J].Algorithms,2016,9,41.[52]CiceroNogueiraDosSantos,MairaAthanazioDeCerqueiraGatti.DeepConvolutionalNeuralNetworksforSentimentAnalysisofShortTexts[C]//ProceedingsofInternationalConferenceonComputationalLinguistics.2014:69-78.[53]IrsoyO,CardieC.Opinionminingwithdeeprecurrentneuralnetworks[C]//Proceedingsofthe2014ConferenceonEmpiricalMethodsinNaturalLanguageProcessing,2014:720-728.[54]WangX,LiuYC,SunCJ,etal.PredictingPolaritiesofTweetsbyComposingWordEmbeddingswithLongShort-TermMemory[C]//ProceedingsoftheAnnualMeetingoftheAssociationforComputationalLinguistics,2015:1343-1353.[55]JordanMI.Serialorder:AParallelDistributedProcessingApproach[J].Psychology,1997,121:471-495. 西南交通大学硕士研究生学位论文第54页[56]HochreiterS,SchmidhuberJ,LongShort-termMemory[J].NeuralComputation,1997,9(8):1735-1780.[57]GersF,SchmidhuberJ,CumminsF.LearningtoForget:ContinualPredictionwithLSTM[J].NeuralComputation,2000,12(10):2451-2471.[58]GersF,SchmidhuberJ.RecurrentNetsThatTimeandCount[C]//ProceedingsoftheIEEE-INNS-ENNSInternationalJointConferenceonIEEE,2000,3:189-194.[59]YaoKS,TrevorCohn,KaterinaVylomova,KevinDuh.Depth-GatedRecurrentNeuralNetworks[J].arXivpreprintarXiv:1508.0390,2015.[60]SunJunyi.结巴中文分词[OL].https://github.com/fxsjy/jieba.[61]MikolovT,ChenK,CorradoG,DeanJ.EfficientEstimationofWordRepresentationsinVectorSpace[C]//ProceedingsoftheInternationalConferenceonLearningRepresentations,2013:1-12.[62]JordanMI.Serialorder:AParallelDistributedProcessingApproach[J].Psychology,1997,121:471-495.[63]HochreiterS,SchmidhuberJ,LongShort-termMemory[J].NeuralComputation,1997,9(8):1735-1780.[64]Christopher.UnderstandingLSTMNetworks[OL].http://colah.github.io/posts/2015-08-Understanding-LSTMs/.[65]XinLi,WaiLam.DeepMulti-taskLearningforAspectTermExtractionwithMemoryInteraction[C]//Proceedingsofthe2017ConferenceonEmpiricalMethodsinNaturalLanguageProcessing,2017:2876-2882.[66]AlexG,GregW,IvoD.NeuralTuringMachines[J].arXivpreprintarXiv:1410.5401,2014.[67]LaffertyJ,McCallumA,PereiraF.ConditionalRandomField:ProbabilisticModelsforSegmentingandLabelingSequenceData[C]//Proceedingsofthe18thInternationalConferenceonMachineLearning,2001:282-289.[68]PengF,FengF,McCallumA.ChineseSegmentationandNewWordDetectionusingConditionalRandomFields[C]//Proceedingofthe20thInternationalConferenceonComputationalLinguistics,2004:562-568.[69]SrivastavaN,HintonG,KrizhevskyA,etal.Dropout:ASimpleWaytoPreventNeuralNetworksfromOverfitting[J].TheJournalofMachineLearningResearch,2014,15(1):1929-1958.[70]McMahanB,HoliG,SculleyD,etal.AdClickPrediction:AViewfromTheTrenches[C]//Proceedingsofthe19thACMSIGKDDInternationalConferenceon 西南交通大学硕士研究生学位论文第55页KnowledgeDiscoveryandDataMining,2013:1222-1230.[71]KingmaD,BaJ.Adam:AMethodforStochasticOptimization[J].arXivpreprintarXiv:1412.6980,2017.[72]Duchi,John,etal.AdaptiveSubgradientMethodsforOnlineLearningandStochasticOptimization[J],TheJournalofMachineLearningRearch,2011,12:2121-2159.[73]T.TielemanandG.Hinton.Lecture6.5—RmsProp:DividetheGradientbyARunningAverageofitsRecentMagnitude.COURSERA:NeuralNetworksforMachineLearning,2012.[74]WilsonA,RoelofsR,SternM,etal.TheMarginalValueofAdaptiveGradientMethodsinMachineLearning[J].arXivpreprintarXiv:1705.08292,2017.[75]NairV,HintonGE.RectifiedLinearUnitsImproveRestrictedBoltzmannMachines[C]//Proceedingsofthe27thInternationalConferenceonMachineLearning,2010:807-814.[76]陈希孺.广义线性模型（一）[J].数理统计与管理,2002,21(5):54-61.[77]VrushaliK,Bongirwar.ASurveyonSentenceLevelSentimentAnalysis[J].InternationalJournalofComputerScienceTrendsandTechnology,2015,3(3):110-113.[78]DuyuTang,BingQin,TingLiu.AspectLevelSentimentClassificationwithDeepMemoryNetwork[C]//Proceedingsofthe2016ConferenceonEmpiricalMethodsinNaturalLanguageProcessing,2016:214-224.[79]金宝华,王睿,周兵.基于深度学习的社交网络舆情分类[J].电子世界,2018,76-79.[80]王宏生,金相宇.基于深度学习的中文电商评论情感分析[J].信息通信,2018,3:51-53. 西南交通大学硕士研究生学位论文第56页攻读硕士学位期间发表的论文及科研成果无。
