我的需求是這樣的:
比如有三個檔案需要作為mapper輸入處理:file01, file02和file03。
另外還有三個檔案作為配置引數存放在本地:r1, r2和r3。
我的mapper程式需要對r1,r2和r3做處理并分別生成三個不同的處理實體,處理演算法一樣,只是引數不同,所以生成了不同的類實體如p1, p2和p3,然后我想讓p1只處理file01,p2只處理file02,p3處理只file03,并分別放到三個slave節點上各自處理,互不影響,然后將計算結果通過reduce進行匯總,這樣可以嗎?
我這樣的目的是為了性能開銷,因為r1,r2和r3實體都非常大,如果合并成一個實體計算太慢。以我的知識,這樣的需求在Hadoop上不能實作,因為Hadoop上map輸入檔案似乎是不可區分的。急,求Hadoop大神幫忙提個想法,非常感謝。
uj5u.com熱心網友回復:
沒人知道嗎?急死我了轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/108604.html
標籤:網絡
上一篇:云計算
下一篇:你知道沒有密碼的賬戶如何登錄嗎?
