需求 Kafka + SparkStreaming + HBase
uj5u.com熱心網友回復:
下sparkstreaming-kakfa的那個jar包,然后下好HBase相關jar包開發kafka可以使用KafkaUtils的createDirectStream和createStream類加載資料流
然后通過資料流的foreachRDD獲取RDD,利用rdd的mapPartitions類來將kafka資料寫入HBase,注意mapPartitions需要collect才會真正執行
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/54888.html
標籤:Spark
上一篇:云計算的那些「What」
下一篇:spark原始碼閱讀環境搭建問題
