基于jmx和ganglia的hadoop性能监控

《基于jmx和ganglia的hadoop性能监控》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、论文http://www.docin.com/uucall8基于JMX和Ganglia的Hadoop性能监控平台孙元成，李文生5（北京邮电大学计算机学院,智能通信软件与多媒体北京重点实验室，北京100876）摘要：Hadoop作为一个开源分布式系统架构，实现了分布式文件系统HDFS和MapReduce分布式计算框架。由于越来越多的网络应用使用Hadoop集群进行计算和存储，如何对集群中的节点进行性能监控保证集群高效正常的运行就显的尤为重要。本文基于Hadoop分布式平台，采用Hadoop的JMX接口与Ganglia工具实现了对Hadoop集群进行性能监控。10关键词：分布式；H

2、adoop；监控；JMX；Ganglia中图分类号：TP315HadoopPerformanceMonitoringPlatformbasedonJMXandGanglia15SunYuancheng,LiWensheng(BeijingKeyLaboratoryofIntelligentTelecommunicationsSoftwareandMultimediaDepartmentofComputer,BeijingUniversityofPostsandTelcommunications,Beijing100876)Abstract:Hadoop,anopensource

3、distributedsystemarchitectureimplementsadistributedfilesystemHDFSanddistributedcomputingframworkMapReduce.Duetoagrowingnumberof20InternetcompaniesandcloudcomputingvendorsusingHadoopclustertocomputeandstoragemoreandmorewidely,itbecomesparticularlyinportanttomonitorthenodes'performanceintheclu

4、sterinordertokeeptheclusterrunningefficientlyandnormally.InthispaperwewillusetheJMXinterfaceandtheGangliatoolforperformancemonitoringonaHadoopcluster.Keywords:DistributedComputation;Hadoop;Monitor;JMX;Ganglia250引言随着计算机技术的高速发展和互联网的快速普及,如今的互联网企业每天都面对上百GB或者TB级别的数据处理，Hadoop的HDFS分布式存储和MapReduce分布

5、式计算框架提供了高可靠性的分布式存储和高速的海量数据计算，越来越多的公司开始利用Hadoop实30现海量数据的信息挖掘、日志分析等，因此如何搭建Hadoop集群监控系统保证集群系统的正常运行就显的尤为重要。设计Hadoop集群监控平台要解决的主要问题有如何从Hadoop集群中获得NameNode、DataNode的运行指标；从JobTracker、TaskTracker中获取MapReduce任务的执行状态，包括：启动时间、运行时间、调度策略、以及任务Kill次数等内容；从集群中获取系统运行指35标，如内存使用量、JVM堆使用量、CPUIdle、网络流量、IO速度等信息;以及如

6、何将这些数据以图表等形式展现出来，提供良好的UI界面便于维护人员快速发现集群的问题。JMX（JavaManagementExtensions，即Java管理扩展）是一个为应用程序、设备、系统等植入管理功能的框架。JMX可以跨越一系列异构操作系统平台、系统体系结构和网络传输协议，灵活的开发无缝集成的系统、网络和服务管理应用。由于Hadoop支持JMX，按40照JMX协议提供了获取NameNode、DataNode以及JobTracker的运行指标的接口。因此可作者简介：孙元成，（1987-），男，硕士研究生，主要研究方向：云计算在物联网领域的应用。E-mail:stevesun5

7、21@gmail.com通信联系人：李文生，（1966-），女，副教授，部门工会主席、中心党支部书记，主要研究方向：数据库系统及应用、网络信息处理、多媒体技术。E-mail:wenshli@bupt.edu.cn-9-论文http://www.docin.com/uucall8以使用上述接口获取数据，也可以使用JMX扩展Hadoop的监控接口，使其具有可扩展和可定制性。Ganglia是UCBerkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmon