寫在前面： 博主是一名大資料的初學者，昵稱來源于《愛麗絲夢游仙境》中的Alice和自己的昵稱，作為一名互聯網小白，
寫博客一方面是為了記錄自己的學習歷程，一方面是希望能夠幫助到很多和自己一樣處于起步階段的萌新，由于水平有限，博客中難免會有一些錯誤，有紕漏之處懇請各位大佬不吝賜教！個人小站:http://alices.ibilibili.xyz/ , 博客主頁:https://alice.blog.csdn.net/
盡管當前水平可能不及各位大佬，但我還是希望自己能夠做得更好，因為一天的生活就是一生的縮影，我希望在最美的年華，做最好的自己！
上一篇博客，小菌為大家介紹了在Flume中如何實作過濾器的效果👉大資料小白必知必會之Flume實作過濾器效果，相信大家在看后一定還有很多的疑惑，我們該如何監控到Flume在運行程序中的變化呢?不用擔心，本篇博客，我們就來學習一下，關于Flume的監控之Ganglia的安裝與簡單實踐，
碼字不易，先贊后看！
文章目錄
- Flume 監控之 Ganglia
- 1、Ganglia的安裝與部署
- <1> 安裝httpd服務與php
- <2> 安裝其他依賴
- <3> 安裝ganglia
- <4>修改組態檔
- 1)、修改組態檔/etc/httpd/conf.d/ganglia.conf
- 2)、修改組態檔/etc/ganglia/gmetad.conf
- 3)、修改組態檔/etc/ganglia/gmond.conf
- 4)、修改組態檔/etc/selinux/config
- <5>啟動ganglia
- <6>打開網頁瀏覽ganglia頁面
- 2、操作Flume測驗監控
- <1> 修改conf目錄下的flume-env.sh配置：
- <2>啟動Flume任務
- <3>發送資料觀察ganglia監測圖
- 小結
Flume 監控之 Ganglia
1、Ganglia的安裝與部署
<1> 安裝httpd服務與php
sudo yum -y install httpd php
[root@node01 ~]# sudo yum -y install httpd php
已加載插件：fastestmirror, security
設定安裝行程
Determining fastest mirrors
* base: mirrors.163.com
* extras: mirrors.163.com
* updates: mirrors.163.com
base | 3.7 kB 00:00
extras | 3.4 kB 00:00
extras/primary_db | 29 kB 00:00
updates | 3.4 kB 00:00
updates/primary_db | 11 MB 00:01
包 httpd-2.2.15-69.el6.centos.x86_64 已安裝并且是最新版本
解決依賴關系
--> 執行事務檢查
---> Package php.x86_64 0:5.3.3-50.el6_10 will be 安裝
--> 處理依賴關系 php-common(x86-64) = 5.3.3-50.el6_10，它被軟體包 php-5.3.3-50.e6_10.x86_64 需要
--> 處理依賴關系 php-cli(x86-64) = 5.3.3-50.el6_10，它被軟體包 php-5.3.3-50.el6_0.x86_64 需要
--> 執行事務檢查
---> Package php-cli.x86_64 0:5.3.3-50.el6_10 will be 安裝
---> Package php-common.x86_64 0:5.3.3-50.el6_10 will be 安裝
--> 完成依賴關系計算
依賴關系解決
================================================================================
軟體包 架構 版本 倉庫 大小
================================================================================
正在安裝:
php x86_64 5.3.3-50.el6_10 updates 1.1 M
為依賴而安裝:
php-cli x86_64 5.3.3-50.el6_10 updates 2.2 M
php-common x86_64 5.3.3-50.el6_10 updates 530 k
事務概要
================================================================================
Install 3 Package(s)
總下載量：3.8 M
Installed size: 13 M
下載軟體包：
(1/3): php-5.3.3-50.el6_10.x86_64.rpm | 1.1 MB 00:00
(2/3): php-cli-5.3.3-50.el6_10.x86_64.rpm | 2.2 MB 00:00
(3/3): php-common-5.3.3-50.el6_10.x86_64.rpm | 530 kB 00:00
--------------------------------------------------------------------------------
總計 4.7 MB/s | 3.8 MB 00:00
運行 rpm_check_debug
執行事務測驗
事務測驗成功
執行事務
正在安裝 : php-common-5.3.3-50.el6_10.x86_64 1/3
正在安裝 : php-cli-5.3.3-50.el6_10.x86_64 2/3
正在安裝 : php-5.3.3-50.el6_10.x86_64 3/3
Verifying : php-5.3.3-50.el6_10.x86_64 1/3
Verifying : php-cli-5.3.3-50.el6_10.x86_64 2/3
Verifying : php-common-5.3.3-50.el6_10.x86_64 3/3
已安裝:
php.x86_64 0:5.3.3-50.el6_10
作為依賴被安裝:
php-cli.x86_64 0:5.3.3-50.el6_10 php-common.x86_64 0:5.3.3-50.el6_10
完畢！
<2> 安裝其他依賴
sudo yum -y install rrdtool perl-rrdtool rrdtool-devel
[root@node01 ~]# sudo yum -y install rrdtool
已加載插件：fastestmirror, security
設定安裝行程
Loading mirror speeds from cached hostfile
* base: mirrors.163.com
* extras: mirrors.163.com
* updates: mirrors.163.com
解決依賴關系
--> 執行事務檢查
---> Package rrdtool.x86_64 0:1.3.8-10.el6 will be 安裝
--> 處理依賴關系 dejavu-sans-mono-fonts，它被軟體包 rrdtool-1.3.8-10.el6.x86_64
--> 處理依賴關系 dejavu-lgc-sans-mono-fonts，它被軟體包 rrdtool-1.3.8-10.el6.x86
--> 執行事務檢查
---> Package dejavu-lgc-sans-mono-fonts.noarch 0:2.33-1.el6 will be 安裝
---> Package dejavu-sans-mono-fonts.noarch 0:2.33-1.el6 will be 安裝
--> 完成依賴關系計算
依賴關系解決
================================================================================
軟體包 架構 版本 倉
================================================================================
正在安裝:
rrdtool x86_64 1.3.8-10.el6 b
為依賴而安裝:
dejavu-lgc-sans-mono-fonts noarch 2.33-1.el6 b
dejavu-sans-mono-fonts noarch 2.33-1.el6 b
事務概要
================================================================================
Install 3 Package(s)
總下載量：1.1 M
Installed size: 2.7 M
下載軟體包：
(1/3): dejavu-lgc-sans-mono-fonts-2.33-1.el6.noarch.rpm | 3
(2/3): dejavu-sans-mono-fonts-2.33-1.el6.noarch.rpm | 4
(3/3): rrdtool-1.3.8-10.el6.x86_64.rpm | 2
--------------------------------------------------------------------------------
總計 1.6 MB/s | 1
運行 rpm_check_debug
執行事務測驗
事務測驗成功
執行事務
正在安裝 : dejavu-lgc-sans-mono-fonts-2.33-1.el6.noarch
正在安裝 : dejavu-sans-mono-fonts-2.33-1.el6.noarch
正在安裝 : rrdtool-1.3.8-10.el6.x86_64
Verifying : dejavu-sans-mono-fonts-2.33-1.el6.noarch
Verifying : rrdtool-1.3.8-10.el6.x86_64
Verifying : dejavu-lgc-sans-mono-fonts-2.33-1.el6.noarch
已安裝:
rrdtool.x86_64 0:1.3.8-10.el6
作為依賴被安裝:
dejavu-lgc-sans-mono-fonts.noarch 0:2.33-1.el6 dejavu-sans-mono-fonts.noar
完畢！
sudo yum -y install apr-devel
[root@node01 ~]# sudo yum -y install apr-devel
已加載插件：fastestmirror, security
設定安裝行程
Loading mirror speeds from cached hostfile
* base: mirrors.163.com
* extras: mirrors.163.com
* updates: mirrors.163.com
解決依賴關系
--> 執行事務檢查
---> Package apr-devel.x86_64 0:1.3.9-5.el6_9.1 will be 安裝
--> 完成依賴關系計算
依賴關系解決
================================================================================
軟體包 架構 版本 倉庫
================================================================================
正在安裝:
apr-devel x86_64 1.3.9-5.el6_9.1 base
事務概要
================================================================================
Install 1 Package(s)
總下載量：176 k
Installed size: 717 k
下載軟體包：
apr-devel-1.3.9-5.el6_9.1.x86_64.rpm | 1
運行 rpm_check_debug
執行事務測驗
事務測驗成功
執行事務
正在安裝 : apr-devel-1.3.9-5.el6_9.1.x86_64
Verifying : apr-devel-1.3.9-5.el6_9.1.x86_64
已安裝:
apr-devel.x86_64 0:1.3.9-5.el6_9.1
完畢！
<3> 安裝ganglia
sudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
[root@node01 ~]# sudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epe.rpm
Retrieving http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch
warning: /var/tmp/rpm-tmp.jfeJoR: Header V3 RSA/SHA256 Signature, key ID 0608b89
Preparing... ########################################### [100%]
1:epel-release ########################################### [100%]
sudo yum -y install ganglia-gmetad
[root@node01 ~]# sudo yum -y install ganglia-gmetad
已加載插件：fastestmirror, security
設定安裝行程
Loading mirror speeds from cached hostfile
epel/metalink | 7.9 kB 00:00
* base: mirrors.163.com
* epel: mirrors.tuna.tsinghua.edu.cn
* extras: mirrors.163.com
* updates: mirrors.163.com
epel | 4.7 kB 00:00
epel/primary_db | 6.1 MB 00:04
解決依賴關系
--> 執行事務檢查
---> Package ganglia-gmetad.x86_64 0:3.7.2-2.el6 will be 安裝
--> 處理依賴關系 ganglia = 3.7.2-2.el6，它被軟體包 ganglia-gmetad-3.7.2-2.el6.x864 需要
--> 處理依賴關系 libconfuse.so.0()(64bit)，它被軟體包 ganglia-gmetad-3.7.2-2.el686_64 需要
--> 處理依賴關系 libganglia.so.0()(64bit)，它被軟體包 ganglia-gmetad-3.7.2-2.el686_64 需要
--> 執行事務檢查
---> Package ganglia.x86_64 0:3.7.2-2.el6 will be 安裝
---> Package libconfuse.x86_64 0:2.7-4.el6 will be 安裝
--> 完成依賴關系計算
依賴關系解決
================================================================================
軟體包 架構 版本 倉庫 大小
================================================================================
正在安裝:
ganglia-gmetad x86_64 3.7.2-2.el6 epel 52
為依賴而安裝:
ganglia x86_64 3.7.2-2.el6 epel 88
libconfuse x86_64 2.7-4.el6 epel 79
事務概要
================================================================================
Install 3 Package(s)
總下載量：220 k
Installed size: 926 k
下載軟體包：
(1/3): ganglia-3.7.2-2.el6.x86_64.rpm | 88 kB 00:00
(2/3): ganglia-gmetad-3.7.2-2.el6.x86_64.rpm | 52 kB 00:00
(3/3): libconfuse-2.7-4.el6.x86_64.rpm | 79 kB 00:00
--------------------------------------------------------------------------------
總計 905 kB/s | 220 kB 00:00
warning: rpmts_HdrFromFdno: Header V3 RSA/SHA256 Signature, key ID 0608b895: NOK
Retrieving key from file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6
Importing GPG key 0x0608B895:
Userid : EPEL (6) <epel@fedoraproject.org>
Package: epel-release-6-8.noarch (installed)
From : /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6
運行 rpm_check_debug
執行事務測驗
事務測驗成功
執行事務
Warning: RPMDB altered outside of yum.
正在安裝 : libconfuse-2.7-4.el6.x86_64 1/
正在安裝 : ganglia-3.7.2-2.el6.x86_64 2/
正在安裝 : ganglia-gmetad-3.7.2-2.el6.x86_64 3/
Verifying : ganglia-gmetad-3.7.2-2.el6.x86_64 1/
Verifying : ganglia-3.7.2-2.el6.x86_64 2/
Verifying : libconfuse-2.7-4.el6.x86_64 3/
已安裝:
ganglia-gmetad.x86_64 0:3.7.2-2.el6
作為依賴被安裝:
ganglia.x86_64 0:3.7.2-2.el6 libconfuse.x86_64 0:2.7-4.el6
完畢！
sudo yum -y install ganglia-web
[root@node01 ~]# sudo yum -y install ganglia-web
已加載插件：fastestmirror, security
設定安裝行程
Loading mirror speeds from cached hostfile
* base: mirrors.163.com
* epel: mirrors.tuna.tsinghua.edu.cn
* extras: mirrors.163.com
* updates: mirrors.163.com
解決依賴關系
--> 執行事務檢查
---> Package ganglia-web.x86_64 0:3.7.1-2.el6 will be 安裝
--> 處理依賴關系 php-ZendFramework，它被軟體包 ganglia-web-3.7.1-2.el6.x86_64 需
--> 處理依賴關系 php-gd，它被軟體包 ganglia-web-3.7.1-2.el6.x86_64 需要
--> 執行事務檢查
---> Package php-ZendFramework.noarch 0:1.12.20-1.el6 will be 安裝
--> 處理依賴關系 php-bcmath，它被軟體包 php-ZendFramework-1.12.20-1.el6.noarch 要
--> 處理依賴關系 php-process，它被軟體包 php-ZendFramework-1.12.20-1.el6.noarch 要
--> 處理依賴關系 php-xml，它被軟體包 php-ZendFramework-1.12.20-1.el6.noarch 需要
---> Package php-gd.x86_64 0:5.3.3-50.el6_10 will be 安裝
--> 處理依賴關系 libXpm.so.4()(64bit)，它被軟體包 php-gd-5.3.3-50.el6_10.x86_64 要
--> 執行事務檢查
---> Package libXpm.x86_64 0:3.5.10-2.el6 will be 安裝
---> Package php-bcmath.x86_64 0:5.3.3-50.el6_10 will be 安裝
---> Package php-process.x86_64 0:5.3.3-50.el6_10 will be 安裝
---> Package php-xml.x86_64 0:5.3.3-50.el6_10 will be 安裝
--> 完成依賴關系計算
依賴關系解決
================================================================================
軟體包 架構 版本 倉庫 大小
================================================================================
正在安裝:
ganglia-web x86_64 3.7.1-2.el6 epel 782
為依賴而安裝:
libXpm x86_64 3.5.10-2.el6 base 51
php-ZendFramework noarch 1.12.20-1.el6 epel 4.1
php-bcmath x86_64 5.3.3-50.el6_10 updates 40
php-gd x86_64 5.3.3-50.el6_10 updates 112
php-process x86_64 5.3.3-50.el6_10 updates 44
php-xml x86_64 5.3.3-50.el6_10 updates 108
事務概要
================================================================================
Install 7 Package(s)
總下載量：5.2 M
Installed size: 38 M
下載軟體包：
(1/7): ganglia-web-3.7.1-2.el6.x86_64.rpm | 782 kB 00:00
(2/7): libXpm-3.5.10-2.el6.x86_64.rpm | 51 kB 00:00
(3/7): php-ZendFramework-1.12.20-1.el6.noarch.rpm | 4.1 MB 00:00
(4/7): php-bcmath-5.3.3-50.el6_10.x86_64.rpm | 40 kB 00:00
(5/7): php-gd-5.3.3-50.el6_10.x86_64.rpm | 112 kB 00:00
(6/7): php-process-5.3.3-50.el6_10.x86_64.rpm | 44 kB 00:00
(7/7): php-xml-5.3.3-50.el6_10.x86_64.rpm | 108 kB 00:00
--------------------------------------------------------------------------------
總計 2.6 MB/s | 5.2 MB 00:01
運行 rpm_check_debug
執行事務測驗
事務測驗成功
執行事務
正在安裝 : php-process-5.3.3-50.el6_10.x86_64 1/
正在安裝 : libXpm-3.5.10-2.el6.x86_64 2/
正在安裝 : php-gd-5.3.3-50.el6_10.x86_64 3/
正在安裝 : php-bcmath-5.3.3-50.el6_10.x86_64 4/
正在安裝 : php-xml-5.3.3-50.el6_10.x86_64 5/
正在安裝 : php-ZendFramework-1.12.20-1.el6.noarch 6/
正在安裝 : ganglia-web-3.7.1-2.el6.x86_64 7/
Verifying : php-xml-5.3.3-50.el6_10.x86_64 1/
Verifying : ganglia-web-3.7.1-2.el6.x86_64 2/
Verifying : php-bcmath-5.3.3-50.el6_10.x86_64 3/
Verifying : libXpm-3.5.10-2.el6.x86_64 4/
Verifying : php-process-5.3.3-50.el6_10.x86_64 5/
Verifying : php-gd-5.3.3-50.el6_10.x86_64 6/
Verifying : php-ZendFramework-1.12.20-1.el6.noarch 7/
已安裝:
ganglia-web.x86_64 0:3.7.1-2.el6
作為依賴被安裝:
libXpm.x86_64 0:3.5.10-2.el6 php-ZendFramework.noarch 0:1.12.20-1.el6
php-bcmath.x86_64 0:5.3.3-50.el6_10 php-gd.x86_64 0:5.3.3-50.el6_10
php-process.x86_64 0:5.3.3-50.el6_10 php-xml.x86_64 0:5.3.3-50.el6_10
完畢！
sudo yum install -y ganglia-gmond
[root@node01 ~]# sudo yum install -y ganglia-gmond
已加載插件：fastestmirror, security
設定安裝行程
Loading mirror speeds from cached hostfile
* base: mirrors.163.com
* epel: mirrors.tuna.tsinghua.edu.cn
* extras: mirrors.163.com
* updates: mirrors.163.com
解決依賴關系
--> 執行事務檢查
---> Package ganglia-gmond.x86_64 0:3.7.2-2.el6 will be 安裝
--> 完成依賴關系計算
依賴關系解決
================================================================================
軟體包 架構 版本 倉庫 大小
================================================================================
正在安裝:
ganglia-gmond x86_64 3.7.2-2.el6 epel 78
事務概要
================================================================================
Install 1 Package(s)
總下載量：78 k
Installed size: 178 k
下載軟體包：
ganglia-gmond-3.7.2-2.el6.x86_64.rpm | 78 kB 00:00
運行 rpm_check_debug
執行事務測驗
事務測驗成功
執行事務
正在安裝 : ganglia-gmond-3.7.2-2.el6.x86_64 1/
Verifying : ganglia-gmond-3.7.2-2.el6.x86_64 1/
已安裝:
ganglia-gmond.x86_64 0:3.7.2-2.el6
完畢！
其中，Ganglia由gmond、gmetad 和 gweb三部分組成，
gmond（Ganglia Monitoring Daemon）是一種輕量級服務，安裝在每臺需要收集指標資料的節點主機上，使用gmond，你可以很容易收集很多系統指標資料，如CPU、記憶體、磁盤、網路和活躍行程的資料等，
gmetad（Ganglia Meta Daemon）整合所有資訊，并將其以RRD格式存盤至磁盤的服務，
gweb（Ganglia Web）Ganglia可視化工具，gweb是一種利用瀏覽器顯示gmetad所存盤資料的PHP前端，在Web界面中以圖表方式展現集群的運行狀態下收集的多種不同指標資料，
<4>修改組態檔
1)、修改組態檔/etc/httpd/conf.d/ganglia.conf
sudo vim /etc/httpd/conf.d/ganglia.conf
修改為紅顏色的配置：
# Ganglia monitoring system php web frontend
Alias /ganglia /usr/share/ganglia
<Location /ganglia>
Order deny,allow
#Deny from all
Allow from all
#Allow from 127.0.0.1
#Allow from ::1
#Allow from .example.com
2)、修改組態檔/etc/ganglia/gmetad.conf
sudo vim /etc/ganglia/gmetad.conf
修改為:
data_source “node01” 192.168.100.100
3)、修改組態檔/etc/ganglia/gmond.conf
sudo vim /etc/ganglia/gmond.conf
修改為：
cluster {
name = “hadoop102”
owner = “unspecified”
latlong = “unspecified”
url = “unspecified”
}
udp_send_channel {
#bind_hostname = yes # Highly recommended, soon to be default.
# This option tells gmond to use a source address
# that resolves to the machine’s hostname. Without
# this, the metrics may appear to come from any
# interface and the DNS names associated with
# those IPs will be used to create the RRDs.
#mcast_join = 239.2.11.71
host = 192.168.100.100
port = 8649
ttl = 1
}
udp_recv_channel {
# mcast_join = 239.2.11.71
port = 8649
bind = 192.168.100.100
retry_bind = true
#Size of the UDP buffer. If you are handling lots of metrics you really
#should bump it up to e.g. 10MB or even higher.
#buffer = 10485760
}
4)、修改組態檔/etc/selinux/config
sudo vim /etc/selinux/config
修改為:
# This file controls the state of SELinux on the system.
#SELINUX= can take one of these three values:
#enforcing - SELinux security policy is enforced.
#permissive - SELinux prints warnings instead of enforcing.
#disabled - No SELinux policy is loaded.
SELINUX=disabled
#SELINUXTYPE= can take one of these two values:
#targeted - Targeted processes are protected,
#mls - Multi Level Security protection.
SELINUXTYPE=targeted
提示:
selinux本次生效關閉必須重啟，如果此時不想重啟，可以臨時生效之：
sudo setenforce 0
<5>啟動ganglia
sudo service httpd start
sudo service gmetad start
sudo service gmond start
<6>打開網頁瀏覽ganglia頁面
http://192.168.100.100/ganglia
一切都正常的情況下，可以看到類似的頁面，
提示：如果完成以上操作依然出現權限不足錯誤，請修改/var/lib/ganglia目錄的權限：
sudo chmod -R 777 /var/lib/ganglia
2、操作Flume測驗監控
<1> 修改conf目錄下的flume-env.sh配置：
JAVA_OPTS="-Dflume.monitoring.type=ganglia
-Dflume.monitoring.hosts=192.168.1.102:8649
-Xms100m
-Xmx200m"
<2>啟動Flume任務
[root@node01 conf]# bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/netcat-logger.conf -Dflume.root.logger==INFO,console -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.100.100:8649
<3>發送資料觀察ganglia監測圖
[root@node01 ~]# nc node01 44444
在Web頁面，我們選擇監控的節點
往下翻，我們可以看見這樣的一個監控畫面
圖例說明：
| 欄位（圖表名稱） | 欄位含義 |
|---|---|
| EventPutAttemptCount | source嘗試寫入channel的事件總數量 |
| EventPutSuccessCount | 成功寫入channel且提交的事件總數量 |
| EventTakeAttemptCount | sink嘗試從channel拉取事件的總數量，這不意味著每次事件都被回傳，因為sink拉取的時候channel可能沒有任何資料 |
| EventTakeSuccessCount | sink成功讀取的事件的總數量 |
| StartTime | channel啟動的時間（毫秒） |
| StopTime | channel停止的時間（毫秒） |
| ChannelSize | 目前channel中事件的總數量 |
| ChannelFillPercentage | channel占用百分比 |
| ChannelCapacity | channel的容量 |
小結
關于Ganglia更多的演示說明就不過多敘述了，感興趣的朋友們可以去http://ganglia.info/了解更多~
受益的朋友或對大資料技術感興趣的伙伴記得點贊關注支持一波🙏
希望我們都能在學習的道路上越走越遠😉
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/97385.html
標籤：其他