文章目錄
- 概述
- Zabbix部署
- 1、安全相關配置
- 2、安裝Zabbix
- 3、配置Zabbix
- 4、啟動Zabbix
- 5、首次訪問前端用戶界面
- Zabbix使用
- 1、創建主機
- 2、創建監控項
- 監控硬碟
- 監控記憶體
- 監控CPU
- 監控行程
- 3、觸發器
- 4、動作
- Zabbix儀表盤
概述
- 大資料集群監控，包括資源監控和行程監控
監控的資源如：記憶體、CPU、硬碟、硬碟IO…
監控的行程如：NameNode、DataNode…
| 監控項 | 示例命令 |
|---|---|
| 記憶體 | free |
| CPU | top |
| 硬碟 | df、du |
| 行程 | top、ps |
| 硬碟IO | iotop |
| YARN資源 | yarn top |
| HDFS硬碟使用 | hadoop fs -df |
-
使用命令不能滿足需求，我們需要報警功能以及友好的用戶界面，于是引入Zabbix
-
Zabbix是企業級開源監控解決方案
支持實時監控數萬臺服務器、虛擬機和網路設備，采集百萬級監控指標
Zabbix架構簡圖
Zabbix部署
| 部署規劃 | hadoop105 | hadoop106 | hadoop107 |
|---|---|---|---|
| zabbix-agent | 1 | 1 | 1 |
| zabbix-server | 1 | ||
| zabbix-web | 1 |
下述操作使用root，非root用戶需要sudo
1、安全相關配置
關閉防火墻（所有節點）
systemctl disable firewalld
systemctl stop firewalld
關閉 SELinux（zabbix-server所在節點）
vim /etc/selinux/config
SELINUX=disabled
關閉 SELinux 后，按需重啟
reboot
2、安裝Zabbix
配置Zabbix的yum源（所有節點）
rpm -Uvh https://mirrors.aliyun.com/zabbix/zabbix/5.0/rhel/7/x86_64/zabbix-release-5.0-1.el7.noarch.rpm
安裝Software Collections倉庫（所有節點）
yum install -y centos-release-scl
修改Zabbix的yum源配置，使用阿里云鏡像（所有節點）（可選）
sed -i 's/http:\/\/repo.zabbix.com/https:\/\/mirrors.aliyun.com\/zabbix/g' /etc/yum.repos.d/zabbix.repo
修改Zabbix的yum源配置，批準Zabbix前端（zabbix-web所在節點）
vim /etc/yum.repos.d/zabbix.repo
[zabbix-frontend]
enabled=1
安裝zabbix-server、zabbix-web、web容器（hadoop105）
yum install -y zabbix-server-mysql zabbix-web-mysql-scl zabbix-apache-conf-scl
安裝zabbix-agent（所有節點）
ssh hadoop103 yum install -y zabbix-agent
3、配置Zabbix
在MySQL建庫，用于存盤Zabbix的資料（資料庫所在節點，本文為hadoop105）
mysql -uroot -p123456 -e"create database zabbix character set utf8 collate utf8_bin"
配置Zabbix-Server的資料庫連接引數（hadoop105）
vim /etc/zabbix/zabbix_server.conf
DBHost=hadoop105
DBName=zabbix
DBUser=root
DBPassword=123456
配置Zabbix-Web時區（hadoop105）
vim /etc/opt/rh/rh-php72/php-fpm.d/zabbix.conf
php_value[date.timezone] = Asia/Shanghai
配置Zabbix-Agent地址（所有節點）
vim /etc/zabbix/zabbix_agentd.conf
Server=hadoop105
Zabbix-Web的資料庫連接配置等下去頁面配
4、啟動Zabbix
啟動zabbix-server和Zabbix前端（hadoop105）
systemctl start zabbix-server httpd rh-php72-php-fpm
啟動zabbix-agent（所有節點）
systemctl start zabbix-agent
5、首次訪問前端用戶界面
瀏覽器訪問http://hadoop105/zabbix/（沒寫埠是因為它默認80）
配置資料庫連接引數，和上面一致
初始用戶名Admin密碼zabbix
頁面左下角User settings設定中文和修改密碼
Zabbix使用
| 主要內容 | 外文名 | 說明 |
|---|---|---|
| 主機 | Host | 需要監控的網路設備，用IP或域名表示 |
| 監控項 | Item | 例如：記憶體、CPU、硬碟、行程… |
| 觸發器 | Trigger | 一個被用于定義問題閾值和“評估”監控項接收到的資料的邏輯運算式 |
| 動作 | Action | 一個對事件做出反應的預定義的操作，例如：郵件通知 |
1、創建主機
- 配置->主機群組->創建主機群組
- 配置->主機->創建主機
IP地址寫內網地址
系結主機群組 - 配置->主機->
Zabbix server
修改IP地址
2、創建監控項
配置->主機
監控硬碟
監控記憶體
| 常用記憶體引數 | 說明 |
|---|---|
| total | 總物理記憶體 |
| free | 可用記憶體 |
| active | 記憶體當前使用或最近使用，所以它在RAM中 |
| inactive | 未使用記憶體 |
| wired | 被標記為始終駐留在RAM中的記憶體，不會移動到磁盤 |
| buffers | 快取檔案系統元資料 |
| cached | 快取為不同事情 |
| shared | 可以同時被多個行程訪問的記憶體 |
| used | a c t i v e + w i r e d active + wired active+wired |
| pused | ( a c t i v e + w i r e d ) / t o t a l × 100 % (active + wired) / total \times 100 \% (active+wired)/total×100% |
| available | i n a c t i v e + c a c h e d + f r e e inactive + cached + free inactive+cached+free |
| pavailable | ( i n a c t i v e + c a c h e d + f r e e ) / t o t a l × 100 % (inactive + cached + free) / total \times 100 \% (inactive+cached+free)/total×100% |
監控CPU
監控行程
以監控NameNode為例，先查看NameNode的命令列
ps -ef | grep datanode
再去頁面配置proc.num[<name>,<user>,<state>,<cmdline>]，條件越多匹配越精準
3、觸發器
配置->主機
觸發規則示例：最后一次NameNode監測值<1
4、動作
Zabbix儀表盤
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/433242.html
標籤：其他