Hdfs路徑上有幾個小檔案,

使用CombineTextInputFormat 方式進行合并處理,代碼如下:

Mapper代碼:

Reduce代碼:

執行運行命令:
hadoop jar /usr/local/hadoop/jars/mr-1.0.1.jar com.jyong.boots /wordcount/input /wordcount/output
運行報錯資訊:

我使用默認的TextInputFormat方式,是正常運行不報錯的,改為CombineTextInputFormat 就不行了。
各位大神,有沒有遇到過這種情況,如何解決的呢?
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/113721.html
標籤:分布式計算/Hadoop
上一篇:有沒有一起愿意學習的小白
