我要做一個圖片處理的程式,但是,如果一開始就把整個圖片都讀進去的話,那么這么大一塊資料就要被傳遞幾次(我現在撰寫的程式是傳遞給Map要傳遞一張圖片的大小,Map傳遞給Reduce又要傳遞一張圖片的大小,而Reduce里面的函式還要傳遞兩三次),這樣就很浪費時間,同時也浪費空間。我想的是直接把要處理檔案的地址傳遞給Map,Map再把地址傳遞給Reduce,最后才在Reduce中的相關函式里再去打開檔案?請問,Map和Reduce中能打開HDFS中的檔案嗎?如果能的話怎么打開?
uj5u.com熱心網友回復:
和正常操作hdfs方法一樣,只是放在了map或者reduce中執行而已轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/107004.html
標籤:云存儲
