spark平台下基于深度学习的网络短文本情感分类研究

《spark平台下基于深度学习的网络短文本情感分类研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号ＴＰ３１３０８２４０７１１１学号＆《速疑种接乂＃学位论文，＜Ｓｐａｒｋ平台下基于深度学习的？＇一．网络短文本情感分类研究作者尚勃指导教师姓名张翔副教授巧请学位级别硕壬专业名称软件王程论文提交日期２０１６．０６论文答辨日ｍ２０１６．０６学位授予单位曲姿違１疑辦技乂營答雜委员会主席徐宏詰评阅人董丽兩声明本人郑重声明我所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中已经标明引用的

2、内容外，本论文不包含其他个人或集体已经发表或撰写过的研究成果，也不包含本人或其他人在其它单位已申请学位或为其它用途使用过的成果一。与我同工作的同志对本研究所做的所有贡献均已在论文中作了明确的说明并表示了致谢。一申请学位论文与资料若有不实之处，本人承担切相关责任。论文作者签名：日期：三ｏＡｉｔ？关于学位论文使用授权的说明、本人完全了解西安建筑科技大学有关保留使用学位论文的规定，目Ｐ；学校有权保留并向国家有关部口或机构送交学位论文的复印件和电子版，光许论文被查阅和借阅；学校

3、可Ｗ公布学位论文的全部或部分内容，可Ｗ采用影印、缩印或者其它复制手段保存学位论文。（保密的论文在论文解密后应遵守此规定）；师签：．６论文者签名导名：山７／６作指教日期、抑苟獻聲权）志、本人国学期刊（光盘版杂社国学技息研论授中术中科术信究所等单位将本学位＂＂文论之。收录到有关学文数据中，并通过网络公供息位库向社会众提信服务一□原发学论文电子版同意在／□两年／ＤＨ年Ｗ后，因某种特殊因需要延迟布位，年在全。网络上（此明处不选的，认为即时公开）文发布声勾默．如１＞：师签

4、；６＆论文者签名导名；作？指教日期）／《冥）注：请将此页附在论文首页。西安建筑科技大学硕士学位论文Spark平台下基于深度学习的网络短文本情感分类研究专业：软件工程硕士生：尚勃指导教师：张翔副教授摘要如今，互联网的发展推动了大数据时代的到来，网络社交媒体产生的信息呈现出爆炸式的增长。通过对这些信息的整合与分析，可以及时了解大众的心理需求，掌握舆情走向。针对这些现状，本文以网络短文本为研究对象，利用文本挖掘、深度学习以及分布式并行计算等相关技术对其进行情感分类，主要工作包含以下三个方面：(1)

5、针对向量空间模型在表示网络短文本时存在特征词独立、向量高维稀疏等问题，本文引入Word2Vec中的CBOW模型，利用大量样本数据训练，得到一个多维的分布式词向量集合，实现了对短文本的表示，并通过计算词向量之间的距离获得同义词，完成对现有情感词典的扩充。(2)鉴于现有浅层结构学习算法对复杂函数的表示能力有限和泛化能力不足等问题，本文基于深度学习思想，构建了深度置信网络分类模型，该模型首先通过多层无监督的受限玻尔兹曼机实现特征向量的逐层转换，然后利用一层有监督的BP网络实现误差反馈并完成对网络短文本的情感分类

6、任务，最后通过实验表明深度置信网络具有较好的特征提取能力，分类结果令人满意。(3)面对海量文本数据，为了提高情感分类的效率，本文利用HDFS实现网络文本数据的分布式存储，并结合Spark分布式内存并行计算框架，实现了对文本预处理以及深度置信网络的并行优化。通过实验表明，基于分布式的深度置信网络能够大幅度缩短训练时间，加快运算速率。设计并实现了网络短文本情感分类系统，该系统主要分为数据采集模块、数据预处理模块、情感分类模块以及分类结果可视化显示模块，实现了研究成果的具体应用，进一步验证了本文所提出研究方法的

7、有效性。关键词：网络短文本；情感分类；Word2Vec；深度学习；Spark并行计算西安建筑科技大学硕士学位论文ResearchonSentimentClassificationofNetworkShortTextUsingDeepLearningonSparkPlatformSpecialty：SoftwareEngineeringName：ShangBoInstructor：AssociateProfessorZhangXiangABSTRACTNowadays,thedevelopmentofInt

8、ernetpromotestheadventofthebigdataera,andtheinformationproducedbythenetworkofsocialmediahasexplosivelyincreased.Throughtheintegrationandanalysisoftheinformation,thepsychologicalneedsofthepubliccanbeacquiredandthepub