本篇將在阿里云ECS服務器部署HADOOP集群（一）：Hadoop完全分布式集群環境搭建的基礎上搭建，

1 環境介紹

一臺阿里云ECS服務器：master
作業系統：CentOS 7.3
Hadoop：hadoop-2.7.3.tar.gz
Java: jdk-8u77-linux-x64.tar.gz
Flume：apache-flume-1.8.0-bin.tar.gz

2 Flume 下載

下載 apache-flume-1.8.0-bin.tar.gz 并在合適的位置解壓縮，筆者這里解壓縮的路徑為:

/usr/local

將解壓得到的目錄改名為 flume

1 cd /usr/local
2 mv apache-flume-1.8.0-bin/ flume/

3 添加 Flume 環境變數

在"/etc/profile"中添加內容：

1 export FLUME_HOME=/usr/local/flume                   
2 export PATH=$PATH:$FLUME_HOME/bin

重新加載環境：

source /etc/profile

4 修改 Flume 環境變數

1 cd /usr/local/flume/conf 
2 cp ./flume-env.sh.template ./flume-env.sh
3 vim ./flume-env.sh

添加內容：

export JAVA_HOME=/usr/local/jdk1.8

5 驗證安裝

flume-ng version

如果安裝成功，則會看到以下內容

Flume 1.8.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 99f591994468633fc6f8701c5fc53e0214b6da4f
Compiled by denes on Fri Sep 15 14:58:00 CEST 2017
From source with checksum fbb44c8c8fb63a49be0a59e27316833d

注意：如果系統里安裝了hbase，會出現錯誤: 找不到或無法加載主類 org.apache.flume.tools.GetJavaProperty，如果沒有安裝hbase，這一步可以略過，

cd $HBASE_HOME
vim hbase-env.sh

1 #1、將hbase的hbase.env.sh的這一行配置注釋掉,即在export前加一個#
2 　　#export HBASE_CLASSPATH=/home/hadoop/hbase/conf
3 #2、或者將HBASE_CLASSPATH改為JAVA_CLASSPATH,配置如下
4 　　export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
5 #筆者用的是第一種方法

上述方法出自 http://dblab.xmu.edu.cn/blog/1102/#more-1102

6 安裝完成

阿里云ECS服務器部署HADOOP集群系列：

阿里云ECS服務器部署HADOOP集群（一）：Hadoop完全分布式集群環境搭建
阿里云ECS服務器部署HADOOP集群（二）：HBase完全分布式集群搭建（使用外置ZooKeeper）
阿里云ECS服務器部署HADOOP集群（三）：ZooKeeper 完全分布式集群搭建
阿里云ECS服務器部署HADOOP集群（四）：Hive本地模式的安裝
阿里云ECS服務器部署HADOOP集群（五）：Pig 安裝
阿里云ECS服務器部署HADOOP集群（七）：Sqoop 安裝

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/42165.html

標籤：大數據

上一篇：阿里云ECS服務器部署HADOOP集群（七）：Sqoop 安裝