用sqoop1-1.4.5 -as-aprquet 將資料從MySQL 匯入到hdfs 保存成parquet 但是spark 無法使用
保存 sqoop保存的檔案不是parquet file
uj5u.com熱心網友回復:
把sqoop命令貼上來看看uj5u.com熱心網友回復:
sqoop import --connect "jdbc:oracle:thin:@host:nettele" --username admin -P admin --split-by CUSTOMER_ID --query 'select * from db.table where createdate is not null and $CONDITIONS ' --target-dir /user/tkonline/test-parquet/ --num-mappers 6 --as-parquetfileuj5u.com熱心網友回復:
Spark的jdbcreader比sqoop好用多了。。。。放棄sqoop吧。。
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/70420.html
標籤:Spark
