云计算环境下构件资源聚类技术的研究

《云计算环境下构件资源聚类技术的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、重庆邮电大学硕士学位论文目录摘要⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．IAbstract．⋯⋯⋯．⋯．．．⋯．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．II第一章绪论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．11．1研究背景及意义⋯⋯⋯．．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．11．2研究现状及存在问题⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．21．3主要研究内容⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．31．4论文结构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯3第二章相关技术基础⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．5

2、2．1云计算概述⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯52．2Hadoop开源框架⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．72．2．1HDFS⋯⋯⋯⋯．．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．．．⋯82．2．2Hadoop中MapReduce的实现⋯⋯⋯⋯⋯．．⋯⋯⋯⋯．．92．2．3Hadoop与分布式系统和SQL数据库的比较⋯⋯⋯⋯⋯⋯112．3构件技术⋯⋯．．⋯⋯．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．132．3．1构件描述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．132．3．2构件检索⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．142．3．3构件相似性度量⋯⋯⋯⋯

3、⋯⋯⋯⋯⋯⋯⋯⋯⋯．162．4聚类算法及存在的难点⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．182．4．1聚类算法分类⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯182．4．2当前聚类存在的难点⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．192．5本章小节⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．20第三章云计算环境下构件检索架构及聚类算法设计⋯⋯⋯⋯⋯⋯⋯．213．1基于XML的构件描述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯213．2构件的云存储解决方案⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．223．3云环境下构件检索架构设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯243．3．1系统架构⋯⋯⋯⋯⋯⋯⋯⋯⋯

4、⋯⋯⋯⋯⋯⋯．．243．3．2Hadoop平台检索架构⋯．．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．253．4基于Hadoop平台的聚类算法的设计⋯⋯⋯⋯⋯⋯⋯⋯⋯．．263．4．1XML文件解析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．263．4．2算法的描述与分析．⋯⋯⋯．⋯⋯⋯⋯⋯．⋯⋯⋯．．．27IV重庆邮电大学硕士学位论文目录3．4．3算法MapReduce的实现流程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．293．4．4算法优化⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．313．5本章小节⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯．33第四章实验与评估⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯

5、⋯⋯⋯⋯⋯⋯．．344．1实验方案⋯⋯⋯⋯．⋯⋯．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯344．2Hadoop平台搭建⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯344．3实验结果分析⋯⋯．．．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．37第五章总结与展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．425．1论文总结⋯⋯．．⋯．．．⋯⋯．．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．425．2下一步研究工作．．⋯．．．．⋯⋯⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯．43致谢⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．44攻读硕士学位期间取得的学术成果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．45参考文献⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯

6、⋯⋯⋯⋯⋯⋯⋯⋯．46V重庆邮电大学硕士论文第一章绪论1．1研究背景及意义第一章绪论对于需要一个快速，廉价和可扩展性硬件和软件基础设施的中小型企业来说，云计算模式是一个非常有吸引力的商业模式，它可以随时随地的获得驻留在远程数据中心的计算和存储资源。目前，谷歌、微软、亚马逊、ⅢM、英特尔等大型公司纷纷提出了“云计划”，云计算的商业价值得到了巨大的肯定；同时学术界也纷纷对云计算进行深层次的研究。我国云计算发展也非常迅猛，阿里巴巴成立了“阿里云”，移动运营商积极部署云计算。云计算是分布式计算、并行处理和网格计算的进一步发展，

7、它是基于互联网的计算，能够向各种互联网应用提供硬件服务、基础架构服务、平台服务、软件服务、存储服务的系统【l】。云计算系统对用户来说是透明的，其本质是对虚拟化的计算和存储资源池进行动态部署，动态分配和实时监控。目前代表性的云平台有AmazonEC2、GoogleAppEngine、ApacheHadoop等，其中Hadoop是一个开源实现集群计算框架【2】，包括Hadoop分布式文件系统(HDFS)和MapReduce实现。Hadoop原本是由Lucene的子项目Nutch发展出来，它用于作为大规模分布式计算基础平台。

8、MapReduce是一种简化的分布式并行计算的数据处理框架【3】，让程序自动分布到一个由普通机器组成的超大集群上并发执行。Hadoop会解决输入数据的分布细节，跨机器集群的程序调度问题，处理机器失效，并且管理及其之间的通信请求等。这样的模式可以不要求有并发处理或者分布式系统的经验，就可以处理大规模的分布式系统中的资源。这样的优势使