hadoop的metrics加入ganglia其实是很简单的,但网络上都是copy,而且文档新旧不一,居然还折腾了一会,太out了。
hadoop版本1.0.3,ganglia版本3.1.2,以下是主要步骤:
1. 修改hadoop/conf/hadoop-metrics2.properties文件
*.sink.file.class=org.apache.hadoop.metrics2.sink.FileSink
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=10
*.sink.ganglia.supportsparse=true
*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40
namenode.sink.ganglia.servers=239.2.11.71:8649
datanode.sink.ganglia.servers=239.2.11.71:8649
jobtracker.sink.ganglia.servers=239.2.11.71:8649
tasktracker.sink.ganglia.servers=239.2.11.71:8649
maptask.sink.ganglia.servers=239.2.11.71:8649
reducetask.sink.ganglia.servers=239.2.11.71:8649
这里有疑惑的是,开始我把以上IP改成NN,JT等这些机器对应ip,ganglia界面死活显示不了hadoop的监控信息,后来还是使用这个239.2.11.71:8649默认地址就行,不管这个ip是否自己的。
补充:239.2.11.71这个是ganglia默认的多播地址,在gmond.conf中设置,如果之前安装的ganglia是配置成集群中某台机器作为单播的统一收集机器,则这里的ip也要随之更改。
2. 重启hadoop集群
分享到:
相关推荐
HADOOP监控GANGLIA安装文档,可以生成图表数据,包括cup,io,mapreduce 带宽
NULL 博文链接:https://cctype.iteye.com/blog/2035345
jmx prometheus grafana 监控开源hadoop各个组件模板。 Hadoop、Zookeeper、HBase等包含12个json模板 导入即可使用,不许做任何修改。
大数据平台监控Ganglia加Nagios
Hadoop1.2.1配置Ganlia监控
ganglia 集群监控 ganglia依赖包 附带监控脚本 安装文档说明
基于JMX和Ganglia的Hadoop性能监控平台,孙元成,李文生,Hadoop作为一个开源分布式系统架构,实现了分布式文件系统HDFS和MapReduce分布式计算框架。由于越来越多的网络应用使用Hadoop集群进行计��
Hbase和Hadoop JMX监控实战
基于SpringBoot的Hadoop-Yarn资源监控系统源码.zip
针对hadoop生态组件制定的grafana模板,包括hdfs(nn、dn)、yarn(rm、nm)、hbase(hm、rs)、hive、kafka、spark、zookeeper
NULL 博文链接:https://daxiangwanju.iteye.com/blog/1962175
org.apache.hadoop.metrics2.sink.ganglia org.apache.hadoop.metrics2.source org.apache.hadoop.metrics2.util org.apache.hadoop.net org.apache.hadoop.record org.apache.hadoop.record.compiler org....
石墨上下文 像 Hadoop 的 GangliaContext 一样,将指标发送到 Graphite 编译: ... *.sink.graphite.class=org.apache.hadoop.metrics2.graphite.GraphiteContext # default sampling period *.p
基于云计算和Hadoop的网络舆情监控系统设计.pdf
hadoop:1.0.4,struct:2.3。 说明:hadoop云平台任务监控信息页面,仿效50030界面,提前获得10个未运行任务的id,然后显示这些id的信息;具体参考最新bolg。
Hadoop 2.0 生态系统第四章 管理与监控Ganglia
hadoop平台的监控个、优化、自动调度等,强烈推荐大家
网上有很多Ganglia部署的教程,每一个我都觉得繁琐,我的目的只是用来监控Hadoop测试集群,能即刻使用才是王道,于是我想到通过Rancher部署Ganglia应用服务,以容器的方式一键部署,省去了中间繁琐的安装过程。...
基于Hadoop的智能电网监控系统的设计与实现.pdf