積極樂觀的態度是解決任何問題和戰勝任何困難的第一步

Hadoop集群腳本撰寫

撰寫分發檔案腳本

應用場景如下：比如有三臺主機master1,slave1,slave2

如果簡歷完全分布式的集群就需要將檔案從master1拷貝到slave從機上

那么可以使用rsync命令分發單個檔案，也可以使用如下腳本分發檔案夾或者檔案

#!/bin/bash

#1 獲取輸入引數個數，如果沒有引數，直接退出
# $#代表獲得命令列引數個數
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 獲取檔案名稱
# $1代表獲得命令列第一個引數
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 獲取上級目錄到絕對路徑
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 獲取當前用戶名稱
user=`whoami`

#5 rsync命令可以分發檔案到指定主機
# 這里slave就是從機的機名
for((host=1; host<3; host++))
do
        echo ------------------- slave$host --------------
        rsync -rvl $pdir/$fname $user@slave$host:$pdir
done

群起Hadoop集群腳本

先在主機上啟動HDFS，再去從機啟動YARN資源管理器，但是切換麻煩，只想在主機就能解決集群啟動問題

這里演示的是三臺服務器，如果是更多臺服務器，回圈即可【有問題都可以私聊我WX：focusbigdata，或者關注我的公眾號：FocusBigData，注意大小寫】

#!/bin/bash

# master1上啟動HDFS
/opt/module/hadoop-2.7.2/sbin/start-dfs.sh

# slave1上啟動Yarn
ssh slave1 /opt/module/hadoop-2.7.2/sbin/start-yarn.sh

# 這是啟動歷史服務器
/opt/module/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh start historyserver

停止Hadoop集群腳本

#!/bin/bash

# 關閉歷史服務器
/opt/module/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh stop historyserver

# 關閉YARN
ssh slave1 /opt/module/hadoop-2.7.2/sbin/stop-yarn.sh

# 關閉HDFS
/opt/module/hadoop-2.7.2/sbin/stop-dfs.sh

查看所有機器的Java行程腳本

其實也是用ssh發送命令到每臺主機上執行然后回傳結果，原理簡單而且也很實用

#!/bin/bash

echo ---------- Master1 --------
/opt/module/jdk1.8.0_131/bin/jps

for((host=1; host<=2; host++));
do
	echo ---------- Slave$host --------
	ssh slave$host /opt/module/jdk1.8.0_131/bin/jps
done

群起Zookeeper集群腳本

#!/bin/bash

for((host=102; host<=104; host++));
do
	echo ----------ZK start in $host--------
	ssh hadoop$host /opt/module/zookeeper-3.4.10/bin/zkServer.sh start
done

停止Zookeeper集群腳本

#!/bin/bash

for((host=102; host<=104; host++));
do
	echo ----------ZK start in $host--------
	ssh hadoop$host /opt/module/zookeeper-3.4.10/bin/zkServer.sh stop
done

查看Zookeeper集群狀態腳本

#!/bin/bash

for((host=102; host<=104; host++));
do
	echo ----------ZK start in $host--------
	ssh hadoop$host /opt/module/zookeeper-3.4.10/bin/zkServer.sh status
done

群起HBase集群腳本

#!/bin/bash

# 自己的命令也能拿來作為腳本代碼哦
/opt/shell/startHadoop.sh
/opt/shell/startZookeeper.sh
echo --------------- HBase Starting  ---------------------
/opt/module/hbase-1.3.1/bin/start-hbase.sh
/opt/shell/j

停止HBase集群腳本

#!/bin/bash

echo --------------- HBase Stoping  ---------------------
/opt/module/hbase-1.3.1/bin/stop-hbase.sh
echo --------------- ZK Stoping  ---------------------
/opt/shell/stopZookeeper.sh
echo --------------- Hadoop Stoping  ---------------------
/opt/shell/stopHadoop.sh
/opt/shell/j

【Hadoop篇07】Hadoop集群腳本撰寫

Hadoop集群腳本撰寫

撰寫分發檔案腳本

群起Hadoop集群腳本

停止Hadoop集群腳本

查看所有機器的Java行程腳本

群起Zookeeper集群腳本

停止Zookeeper集群腳本

查看Zookeeper集群狀態腳本

群起HBase集群腳本

停止HBase集群腳本

相關資料