SQOOP安裝及使用
目錄- SQOOP安裝及使用
- SQOOP安裝
- 1、上傳并解壓
- 2、修改檔案夾名字
- 3、修改組態檔
- 4、修改環境變數
- 5、添加MySQL連接驅動
- 6、測驗
- 準備MySQL資料
- 登錄MySQL資料庫
- 創建student資料庫
- 切換資料庫并匯入資料
- 另外一種匯入資料的方式
- 使用Navicat運行SQL檔案
- 匯出MySQL資料庫
- import
- MySQLToHDFS
- 撰寫腳本，保存為MySQLToHDFS.conf
- 執行腳本
- 注意事項：
- MySQLToHive
- 撰寫腳本，并保存為MySQLToHIVE.conf檔案
- 在Hive中創建testsqoop庫
- 將HADOOP_CLASSPATH加入環境變數中
- 將hive-site.xml放入SQOOP_HOME/conf/
- 執行腳本
- --direct
- -e引數的使用
- MySQLToHBase
- 撰寫腳本，并保存為MySQLToHBase.conf
- 在HBase中創建student表
- 執行腳本
- MySQLToHDFS
- export
- HDFSToMySQL
- 撰寫腳本，并保存為HDFSToMySQL.conf
- 先清空MySQL student表中的資料，不然會造成主鍵沖突
- 執行腳本
- 查看sqoop help
- HDFSToMySQL
- SQOOP安裝
SQOOP安裝
1、上傳并解壓
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/soft/
2、修改檔案夾名字
mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7
3、修改組態檔
# 切換到sqoop組態檔目錄
cd /usr/local/soft/sqoop-1.4.7/conf
# 復制組態檔并重命名
cp sqoop-env-template.sh sqoop-env.sh
# vim sqoop-env.sh 編輯組態檔，并加入以下內容
export HADOOP_COMMON_HOME=/usr/local/soft/hadoop-2.7.6
export HADOOP_MAPRED_HOME=/usr/local/soft/hadoop-2.7.6/share/hadoop/mapreduce
export HBASE_HOME=/usr/local/soft/hbase-1.4.6
export HIVE_HOME=/usr/local/soft/hive-1.2.1
export ZOOCFGDIR=/usr/local/soft/zookeeper-3.4.6/conf
export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6
# 切換到bin目錄
cd /usr/local/soft/sqoop-1.4.7/bin
# vim configure-sqoop 修改組態檔，注釋掉沒用的內容（就是為了去掉警告資訊）
4、修改環境變數
vim /etc/profile
# 將sqoop的目錄加入環境變數
5、添加MySQL連接驅動
# 從HIVE中復制MySQL連接驅動到$SQOOP_HOME/lib
cp /usr/local/soft/hive-1.2.1/lib/mysql-connector-java-5.1.49.jar /usr/local/soft/sqoop-1.4.7/lib/
6、測驗
# 列印sqoop版本
sqoop version
# 測驗MySQL連通性
sqoop list-databases -connect jdbc:mysql://master:3306?useSSL=false -username root -password 123456
準備MySQL資料
登錄MySQL資料庫
mysql -u root -p123456;
創建student資料庫
create database student;
切換資料庫并匯入資料
# mysql shell中執行
use student;
source /root/student.sql;
source /root/score.sql;
另外一種匯入資料的方式
# linux shell中執行
mysql -u root -p123456 student</root/student.sql
mysql -u root -p123456 student</root/score.sql
使用Navicat運行SQL檔案
也可以通過Navicat匯入
匯出MySQL資料庫
mysqldump -u root -p123456 資料庫名>任意一個檔案名.sql
import
從傳統的關系型資料庫匯入HDFS、HIVE、HBASE......
MySQLToHDFS
撰寫腳本，保存為MySQLToHDFS.conf
import
--connect
jdbc:mysql://master:3306/student?useSSL=false
--username
root
--password
123456
--table
student
--m
2
--split-by
age
--target-dir
/sqoop/data/student1
--fields-terminated-by
','
執行腳本
sqoop --options-file MySQLToHDFS.conf
注意事項：
1、--m 表示指定生成多少個Map任務，不是越多越好，因為MySQL Server的承載能力有限
2、當指定的Map任務數>1，那么需要結合--split-by引數，指定分割鍵，以確定每個map任務到底讀取哪一部分資料，最好指定數值型的列，最好指定主鍵（或者分布均勻的列=>避免每個map任務處理的資料量差別過大）
3、如果指定的分割鍵資料分布不均，可能導致資料傾斜問題
4、分割的鍵最好指定數值型的，而且欄位的型別為int、bigint這樣的數值型
5、撰寫腳本的時候，注意：例如：--username引數，引數值不能和引數名同一行
--username root // 錯誤的
// 應該分成兩行
--username
root
6、運行的時候會報錯InterruptedException，hadoop2.7.6自帶的問題，忽略即可
21/01/25 14:32:32 WARN hdfs.DFSClient: Caught exception
java.lang.InterruptedException
at java.lang.Object.wait(Native Method)
at java.lang.Thread.join(Thread.java:1252)
at java.lang.Thread.join(Thread.java:1326)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.closeResponder(DFSOutputStream.java:716)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.endBlock(DFSOutputStream.java:476)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:652)
7、實際上sqoop在讀取mysql資料的時候，用的是JDBC的方式，所以當資料量大的時候，效率不是很
8、sqoop底層通過MapReduce完成資料匯入匯出，只需要Map任務，不需要Reduce任務
9、每個Map任務會生成一個檔案
MySQLToHive
先會將MySQL的資料匯出來并在HDFS上找個目錄臨時存放，默認為：/user/用戶名/表名
然后再將資料加載到Hive中，加載完成后，會將臨時存放的目錄洗掉
撰寫腳本，并保存為MySQLToHIVE.conf檔案
import
--connect
jdbc:mysql://master:3306/student?useSSL=false
--username
root
--password
123456
--table
score
--fields-terminated-by
"\t"
--lines-terminated-by
"\n"
--m
3
--split-by
student_id
--hive-import
--hive-overwrite
--create-hive-table
--hive-database
testsqoop
--hive-table
score
--delete-target-dir
在Hive中創建testsqoop庫
hive> create database testsqoop;
將HADOOP_CLASSPATH加入環境變數中
vim /etc/profile
# 加入如下內容
export HADOOP_CLASSPATH=$HADOOP_HOME/lib:$HIVE_HOME/lib/*
# 重新加載環境變數
source /etc/profile
將hive-site.xml放入SQOOP_HOME/conf/
cp /usr/local/soft/hive-1.2.1/conf/hive-site.xml /usr/local/soft/sqoop-1.4.7/conf/
執行腳本
sqoop --options-file MySQLToHIVE.conf
--direct
加上這個引數，可以在匯出MySQL資料的時候，使用MySQL提供的匯出工具mysqldump，加快匯出速度，提高效率
需要將master上的/usr/bin/mysqldump分發至 node1、node2的/usr/bin目錄下
scp /usr/bin/mysqldump node1:/usr/bin/
scp /usr/bin/mysqldump node2:/usr/bin/
-e引數的使用
import
--connect
jdbc:mysql://master:3306/student
--username
root
--password
123456
--fields-terminated-by
"\t"
--lines-terminated-by
"\n"
--m
2
--split-by
student_id
--e
"select * from score where student_id=1500100011 and $CONDITIONS"
--target-dir
/testQ
--hive-import
--hive-overwrite
--create-hive-table
--hive-database
testsqoop
--hive-table
score2
MySQLToHBase
撰寫腳本，并保存為MySQLToHBase.conf
import
--connect
jdbc:mysql://master:3306/student?useSSL=false
--username
root
--password
123456
--table
student
--hbase-table
student
--hbase-create-table
--hbase-row-key
id
--m
1
--column-family
cf1
在HBase中創建student表
create 'student','cf1'
執行腳本
sqoop --options-file MySQLToHBase.conf
export
HDFSToMySQL
撰寫腳本，并保存為HDFSToMySQL.conf
export
--connect
jdbc:mysql://master:3306/student?useSSL=false
--username
root
--password
123456
--table
student
-m
1
--columns
id,name,age,gender,clazz
--export-dir
/sqoop/data/student1/
--fields-terminated-by
','
先清空MySQL student表中的資料，不然會造成主鍵沖突
執行腳本
sqoop --options-file HDFSToMySQL.conf
查看sqoop help
sqoop help
21/04/26 15:50:36 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
usage: sqoop COMMAND [ARGS]
Available commands:
codegen Generate code to interact with database records
create-hive-table Import a table definition into Hive
eval Evaluate a SQL statement and display the results
export Export an HDFS directory to a database table
help List available commands
import Import a table from a database to HDFS
import-all-tables Import tables from a database to HDFS
import-mainframe Import datasets from a mainframe server to HDFS
job Work with saved jobs
list-databases List available databases on a server
list-tables List available tables in a database
merge Merge results of incremental imports
metastore Run a standalone Sqoop metastore
version Display version information
See 'sqoop help COMMAND' for information on a specific command.
# 查看import的詳細幫助
sqoop import --help
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/325405.html
標籤：其他
下一篇：MySQL 學習筆記（五）