Sqoop的安裝與部署
1/ 將sqoop解壓 到usr下
2/ 配置sqoop下的conf目錄下的env環境檔案
先切換目錄：cd /usr/sqoop/conf
編輯檔案命令：gedit sqoop-env-template.sh
找到被注釋的有關HADOOP的變數 2個
將前面注釋的#號去掉
將等號后的值改為hadoop路徑：=usr/hadoop
HBase路徑用不到 就注釋掉
Hive也可以不配置 Zookeeper也可以不配置
3/ 將mysql的jdbc的jar包 拷貝到sqoop/lib/下
4/ 在sqoop的bin目錄下，有很多命令
下面命令是測驗連接mysql
(首先，保證mysql’有’密碼，沒設定密碼的，自行百度，把mysql中的user表的Host列的localhost改為% 這樣就給了外部機器訪問權限
查詢–>新建查詢，輸入sql陳述句重繪mysql
：flush privileges;
然后把mysql的my.ini檔案加入
[mysqld]
bind-address=0.0.0.0
這段命令也是給所有連接權限) 重啟mysql服務
回傳資料庫資訊
回傳庫里的表的資訊
Hdfs匯出到mysql
直接復制這段：./sqoop export --connect jdbc:mysql://172.16.2.2:3306/test --username root --password 1234 --input-fields-terminated-by “\t” --table abc --export-dir /flume/output/part-r-00000
注意!!!
–input-fields-terminated-by 分割命令后面必須是單字符！！！
mysql的列應該和hdfs的資料分割列相反
把連庫串修改下
注：
input-fields-terminated-by ‘—’ 根據’—’分割欄位
–export-dir 后面是hdfs里的資料塊
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/348300.html
標籤：其他
上一篇：HA historyserver錯誤日志java.lang.RuntimeException: java.io.IOException: Couldn‘t create proxy provid nu