解壓flume包 到/usr/local/src/目錄下
[root@hadoopha01 pack]# tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local/src/
配置flume環境變數
#FLUME_HOME
export FLUME_HOME=/usr/local/src/flume
export PATH=$PATH:$FLUME_HOME/bin
修改flume中flume-env.sh檔案，先將修改名稱為flume-env.sh，或者直接新建一個
其中配置jdk
export JAVA_HOME=/usr/local/src/jdk
flume,安裝成功
查看版本
[root@hadoopha01 conf]# flume-ng version
flume的基本使用
使用flume傳輸資料至hdfs中
查詢dfs中有那些檔案
[root@hadoopha01 conf]# hdfs dfs -ls /
創建一個flume檔案夾
[root@hadoopha01 conf]# hdfs dfs -mkdir /flume
創建一個job目錄用于存放flume組態檔
mkdir job
[root@hadoopha01 job]# vi hdfs_k.conf
檔案內容
a1.sources = r1
a1.channels = c1
a1.sinks = k1
a1.sources.r1.type = netcat
a1.sources.r1.bind = 主機名
a1.sources.r1.port = 自己設定埠號
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://主機名稱+hdfs埠號/flume/events/%y-%m-%d/%H/%M/%S
a1.sinks.k1.hdfs.filePrefix = events-
#是否是產生新目錄,每十分鐘產生一個新目錄,一般控制的目錄方面，
#2017-12-12 -->
#2017-12-12 -->%H%M%S
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = https://www.cnblogs.com/gudeman/archive/2023/04/11/10
a1.sinks.k1.hdfs.roundUnit = second
a1.sinks.k1.hdfs.useLocalTimeStamp=true
#是否產生新檔案，
a1.sinks.k1.hdfs.rollInterval=10
a1.sinks.k1.hdfs.rollSize=10
a1.sinks.k1.hdfs.rollCount=3
a1.channels.c1.type=memory
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
一個終端啟用檔案
[root@hadoopha01 job]# flume-ng agent -f hdfs_k.conf -n a1
另一個終端傳輸檔案
[root@hadoopha01 job]# nc 主機名 自己設定埠號
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/549800.html
標籤：其他