基于hadoop的网络验证平台的研究

《基于hadoop的网络验证平台的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：UDC：密级：学校代号：11845学号：2110毯05385广东工业大学硕士学位论文(工学硕士)基于Hadoop的网络验证平台的研究徐忠明指导教师姓名、职称：工磊副数援学科(专业)或领域名称：盐篡扭廑旦这盔学生所属学院：i土箕扭堂院论文答辩日期：三Q二二生五旦ADissertationSubmittedtoGuangdongUniversityofTechnologyfortheDegreeofMasterofEngineeringScienceHadoop—-basednetworkverificationplatformresearchCandidate：Xuzh

2、ongmingSupervisor：Prof．DingLeiMay2011FacultyofComputerGuangdongUniversityofTechnologyGuangzhou，Guangdong，P．R．China，510006摘要摘要云计算【I】是2007年底正式推出的一个崭新的概念，它可以说是一个历史性的创新，意味着计算服务也可以作为一种商品进行买卖，就像煤气、水电一样，取用方便，费用低廉，而区别只是在于它是通过互联网传输的。现今为止，Google、IBM、亚马逊等IT商业巨头都提拱了自己的云计算平台，并把云计算作为其未来发展的最主要战略之一。因此，云计算的

3、研究不但紧跟业界技术发展的趋势，同时还具有较高的应用价值。在云计算系统的后台，提拱了成千上万的服务器，如何很好地组织如此巨大的服务器集群是云计算系统稳定运行重要问题。一个合理的网络拓扑结构不仅能够提高网络的性能，而且能够保证网络的稳定性，使网络在部分节点或链路故障或拥挤堵塞时也能正常工作。云计算系统后端的网络拓扑特性与一般的网络拓扑不同，因此我们应该重新考虑和研究。数据是信息的携带者，而信息是数据的含义，通常情况下认为数据是信息系统的基本。使用计算机来处理数据，提取信息是信息系统的基本需求。在现今高度信息化的社会里，Web可以说是最大的信息系统，其数据具有海量、多样、异构、动

4、态变化等基本特征。如何实现快速有效地从这些数据中抽取出对企业有益的信息已成为程序员在进行软件开发过程中碰到的最重要的工作。基于这个出发点，本文在分析现有分布式存储和分布式计算等关键技术基础上，结合对Hadoop的集群技术的研究以及自身的业务需求和实际软硬件实力，提出了一种基于Hadoop的海量数据处理模型，并从数据结构设计、程序流程组织和编程技术的使用等几个方面来介绍这个模型的开发方法，最后将该模型应用于网络验证平台的web日志数据处理过程中。它允许程序员可以没有并发处理或者分布式系统的经验，就能够处理超大规模的分布式系统的资源。该模型还可以应用在诸如非文本图片存储、搜索引擎

5、、网格计算[21等需要处理大数据量的网络应用中。本课题的特点是将研究的模型与实际业务应用相结合，利用前沿的分布式框架技术来很好地满足项目的需求，并将模型部署到实例当中，用实验结果来检验模型的实用价值，比如高效率、低成本、可拓展性和易维护性等。在与原来的预处理系统相融合的基础上，我们还对初级的模型进行了性能的优化，主要包括：MapReduce作业调度的优化，排序算法的优化。集群系统的容错机制的优化等。广东工业大学硕士学位论文关键词：分布式数据处理：海量数据：HadoopAbstractABSTRACTCloudcomputing，anewconceptproposedatthe

6、endof2007，isarevolutionaryinnovation，becauseitmeanscomputingcapacitycanalsobecirculatedlikecommodities，suchasgas，electricityandwater，anditisconvenienttouse，withlowcost．ThemaindifferencewithcommoncommodityiSthatitiStransmittedthroughInternet．Sofar，Google，IBM，AmazonandotherITgiantshavelaunche

7、dtheirowncommercialcloudcomputingplatform，andmadeitoneoftheirmajordevelopmentstrategiesinthefuture．Therefore，studyofcloudcomputingnotonlykeepsupwithindustrialtechnologytrend，butalsohasgreatapplicablevalue．Therearetensofthousandsofserversintheback-endsyst