基于Hadoop的股票数据聚类分析

《基于Hadoop的股票数据聚类分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、２９：１０３３分类号：０单位代码５密级：学号：２１５３５０４７硕士学位论文？中文论文题目：基于Ｈａｄｏｏｐ的股票数据聚类分析英文论文题目：ＣｌｕｓｔｅｒｉｎｇｆｏｒＳｔｏｃｋＤａｔａＡｎａｌｙｓｉｓｏｎＨａｄｏｏｐ申请人姓名：陈文颖指导教师：蔺宏伟教授合作导师：专业名称：应用数学研宄方向：数据科学所在学院：数学科学学院论文提交日期二０—八年一月十日基于Ｈａｄ〇〇Ｐ的股票数据聚类分析⑩论文作者签名：指导教师签名：Ｉ论文评阅人

2、１：隐名评审人评阅人２：胡倩倩教授浙江工商大学３评阅人：潘建江副教授杭州电子科技大学评阅人４：评阅人５：答辩委员会主席：童若锋教授浙江大学１委员：蔺宏伟教授浙江大学委员２：杨勋年副教授浙江大学委员３：张振跃教授浙江大学委员４：委员５：答辩曰期：２０１８年３月７ＲＣｌｕｓｔｅｒｉｎｇｆｏｒＳｔｏｃｋＤａｔａＡｎａｌｙｓｉｓｏｎＨａｄｏｏｐＡｕｔｈｏｒ＾ｓｉｎａｔｕｒｅ：ｇ’Ｓｕｐｅｒｖｉｓｏｒｓｓｉｇｎａｔｕｒｅ

3、：＾ＥｘｔｅｒｎａｌＲｅｖｉｅｗｅｒｓ：．ＡｎｏｎｙｍｏｕｓｒｅｖｉｅｗｅｒｓＨｕＯｉａｎｉａｎＰｒｏｆ．ＺＪＳＵｑＰａｎＪｉａｎｉｉａｎｇＡ．Ｐｒｏｆ．ＨＤＵＥｘａｍｉｎｉｎＣｏｍｍｉｔｔｅｅＣｈａｉｒｅｒｓｏｎ：ｇｐＴｏｎｇＲｕｏｆｅｎｇＰｒｏｆ．ＺＪＵＥｘａｍｉｎｉｎＣｏｍｍｉｔｔｅｅＭｅｍｂｅｒｓ：ｇＬｉｎＨｏｎｇｗｅｉＰｒｏｆ．ＺＪＵＹａｎｇＸｕｎｎｉａｎＡ．Ｐｒｏｆ．ＺＪＵＺｈａｎｇＺｈｅｎｖｕｅＰｒｏｆ．ＺＪＵ

4、Ｄａ－－ｔｅｏｆｏｒａｌｄｅｆｅｎｃｅ：２０１８０３０７浙江大学研究生学位论文独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人己经发表或撰写过的研究成果，也不包含为获得浙江大学或其他教育机构的学位或证书而使用过的材料一。与我同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。学ｆ立论文作者签名：签字日期：年＆月＾日；学位论文版权使用授权书本学位论文作者完全了解浙江大学有权保留并

5、向国家有关部门或机。构送交本论文的复印件和磁盘，允许论文被查阅和借阅本人授权浙江大学－可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本授权书）学位论文作者签名导师签名：签字日期：ｙ年０月日签字日期：孓年￥月日／ｙ浙江大学硕士学位论文摘要擄要随着大数据时代的到来们逐渐认识到了数据的重要性一。数据不仅是，人种资源一一，更是种财富。在大数据应用领域中，金融数据分析被视为个很有前景一一的方向。股票分

6、析直是金融领域个很热门的话题，而且涉及多个领域的知识。在此之前，人们更多的是采用基本分析，即通过宏观及微观的经济政策、本行业、投资者的行为态度领域的发展状况、反映企业自身发展状况的指标等方面来预测股票今后走势。随着大数据相关技术的发展，在海量的股票历史数据中发现规律进而预测股票走势成为一个很热门的研究课题。本文是对股票大数据进行聚类分析，本文的主要工作如下：Ｓｈａ１集。通过ｔｈｏｎ爬虫ｒｅ包８００ＧＢ、数据收ｐｙ以及Ｔｕ获取了约的股票数据，包括上式公司的基本信息以及历史行情数据（以每天为记录的数据和以毎个

7、－时刻为）。．记录的数据２６、平台搭建。在实验室搭建了台机器组成的Ｈａｄｏｏ集群中１ｐ分布式，其台为Ｍａｓｔｅｒ节点（ＨＤＦＳ上的角色为ＮａｍｅＮｏｄｅ，ＭａｐＲｅｄｕｃｅ上的角色为ＪｏｂＴｒａｃｋｅｒ），５台为Ｓｌａｖｅ节点（ＨＤＦＳ上的角色为ＤａｔａＮｏｄｅ，ＭａｐＲｅｄｕｃｅ上的角色为ＴａｓｋＴｒａｃｋｅｒ）。３－ｍｅａｎｓ、聚类分析。用Ｈａｄｏｏｐ下的ＭａｐＲｅｄｕｃｅ框架编写了两种聚类算法：Ｋ算法和ＮＭＦ（非负矩阵分解）算法，并对聚类后的结果进行分析。聚类结果表一明被聚在类

8、中的股票走势有很大的相似性。ＮＭＦ？关键词：大数据，网络爬虫，Ｈａｄｏｏｐ，聚类分析，（非负矩阵分解）Ｉ浙江大学硕士学位论文ＡｂｓｔｒａｃｔＡｂｓｔｒａｃｔＷｉｔｈｔｈｅａｄｖｅｎｔｏｆｔ