本篇將在
阿里云ECS服務器部署HADOOP集群（一）：Hadoop完全分布式集群環境搭建
阿里云ECS服務器部署HADOOP集群（二）：HBase完全分布式集群搭建（使用外置ZooKeeper)
阿里云ECS服務器部署HADOOP集群（三）：ZooKeeper 完全分布式集群搭建
阿里云ECS服務器部署HADOOP集群（四）：Hive本地模式的安裝
的基礎上搭建，
1 環境介紹
- 一臺阿里云ECS服務器：master
- 作業系統：CentOS 7.3
- Hadoop：hadoop-2.7.3.tar.gz
- Java: jdk-8u77-linux-x64.tar.gz
- HBase: hbase-1.2.6-bin.tar.gz
- ZooKeeper: zookeeper-3.4.14.tar.gz
- Hive：apache-hive-2.3.6-bin.tar.gz
- Mysql: Mysql 5.7
- MySQL Connector-J：mysql-connector-java-5.1.47.tar.gz
- Sqoop: sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
2 Sqoop 下載
下載 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 并在合適的位置解壓縮，筆者這里解壓縮的路徑為:
/usr/local
將解壓得到的目錄改名為 sqoop
1 cd /usr/local 2 mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop/
3 添加 Sqoop 環境變數
在"/etc/profile"中添加內容：
1 export SQOOP_HOME=/usr/local/sqoop 2 export PATH=$PATH:$SQOOP_HOME/bin 3 export CLASSPATH=$CLASSPTH:$SQOOP_HOME/lib
重新加載環境：
source /etc/profile
4 修改 Sqoop 環境變數
1 cd $SQOOP_HOME/conf/ 2 cp sqoop-env-template.sh sqoop-env.sh 3 vim sqoop-env.sh
配置可參考如下代碼：
1 #Set path to where bin/hadoop is available 2 export HADOOP_COMMON_HOME=/usr/local/hadoop 3 4 #Set path to where hadoop-*-core.jar is available 5 export HADOOP_MAPRED_HOME=/usr/local/hadoop 6 7 #set the path to where bin/hbase is available 8 export HBASE_HOME=/usr/local/hbase 9 10 #Set the path to where bin/hive is available 11 export HIVE_HOME=/usr/local/hive 12 13 #配置ZooKeeper的路徑，如果讀者沒有配置 ZooKeeper 則不需要配置， 14 #Set the path for where zookeper config dir is 15 export ZOOCFGDIR=/usr/local/zookeeper
5 配置 MySQL 連接器
5.1 下載 mysql-connector-java-5.1.47.tar.gz 并解壓至 $SQOOP_HOME/lib 下
tar -zxvf mysql-connector-java-5.1.47.tar.gz -C $HIVE_HOME/lib
5.2 測驗與 Mysql 的連接
首先確保 mysql 服務已經啟動，如果沒有啟動，執行以下命令
service mysql start
測驗連接
sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root -P
連接成功后顯示內容如圖所示
6 安裝完成
阿里云ECS服務器部署HADOOP集群系列：
- 阿里云ECS服務器部署HADOOP集群（一）：Hadoop完全分布式集群環境搭建
- 阿里云ECS服務器部署HADOOP集群（二）：HBase完全分布式集群搭建（使用外置ZooKeeper）
- 阿里云ECS服務器部署HADOOP集群（三）：ZooKeeper 完全分布式集群搭建
- 阿里云ECS服務器部署HADOOP集群（四）：Hive本地模式的安裝
- 阿里云ECS服務器部署HADOOP集群（五）：Pig 安裝
- 阿里云ECS服務器部署HADOOP集群（六）：Flume 安裝
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/42164.html
標籤：大數據