一、把安裝包拉到/opt/software/下面
把apache-flume-1.9.0-bin.tar.gz的安裝包拉到/opt/software/下面
二、解壓
cd /usr/local/soft
tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/module/
三、添加系統環境變數(需配置Java JDK系統引數)
切換到cd /opt/module/下面
vi /etc/profile
export FLUME_HOME=/opt/module/apache-flume-1.9.0-bin
export PATH=$PATH:$FLUME_HOME/bin
source /etc/profile
四、修改Flume環境變數
拷貝環境變數檔案
cp flume-env.sh.template flume-env.sh
ll查看一下
添加內容
vi flume-env.sh
export FLUME_HOME=/opt/module/jdk1.8.0_212
export前面的#空格都要洗掉
/opt/module/jdk1.8.0_212/后的/要洗掉
五、組態檔
客戶端(Source)：收集資訊
拷貝組態檔：
cp flume-con.properties.template flume-client.properties
vi flume-client.properties
組態檔內容：
#分別指定agent的sources，sinks, channels的名稱 名稱可以自定義
a1.sources = s1
a1.sinks = k1
a1.channels = c1
#配置目錄scource
a1.sources.s1.type =spooldir
a1.sources.s1.spoolDir =/home/hadoop/logs
a1.sources.s1.fileHeader= true
a1.sources.s1.channels =c1
#配置sink
a1.sinks.k1.type = logger
a1.sinks.k1.channel = c1
#配置channel(記憶體做快取)
a1.channels.c1.type = memory
五、啟動
flume-ng agent -n a1 -c conf -f flume-client.properties -Dflume.root.logger=DEBUG,console
其中：
-n:agent名稱
-c:組態檔路徑conf
-f:組態檔名稱
附：集群拷貝
scp -r /usr/local/soft/apache-flume-1.9.0-bin root@slave1:/usr/local/soft
scp -r /usr/local/soft/apache-flume-1.9.0-bin root@slave2:/usr/local/soft
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/379156.html
標籤：其他
上一篇：數倉開發遇到的那些事(3)
下一篇：Hadoop期末復習城科專用