請問hadoop里的namenode和datanode各自的作用是什么?
我的理解是
namenode就像是一本書的目錄,可以快速找到資料所在的datanode
datanode是負責存盤資料的
那在集群運行程式的時候,負責計算的是namenode,datanode只是起到存盤功能而不參與運算。
是這樣的嗎?請大神幫幫忙,或者有什么好文章可以更清晰的了解hadoop的?
uj5u.com熱心網友回復:
namenode是整個檔案系統的管理節點。它維護著1.整個檔案系統的檔案目錄樹,2.檔案/目錄的元資訊和每個檔案對應的資料塊串列。3.接收用戶的操作請求。 namenode包含兩個檔案:FsImage(元資料鏡像檔案。存盤某一時段NameNode記憶體元資料資訊)和Editlog(操作日志檔案)NameNode維護著2張表:
1.檔案系統的目錄結構,以及元資料資訊
2.檔案與資料塊(block)串列的對應關系
元資料存放在fsimage中,在運行的時候加載到記憶體中的(讀寫比較快)。
操作日志寫到editlog中
datanode:存盤檔案內容,維護blockid到datanode的映射關系
uj5u.com熱心網友回復:
1.Namenode是整個檔案系統的管理節點。它維護著1.整個檔案系統的檔案目錄樹,2.檔案/目錄的元資訊和每個檔案對應的資料塊串列。3.接收用戶的操作請求。
2.Datanode
提供真實檔案資料的存盤服務。
檔案塊(block):最基本的存盤單位。對于檔案內容而言,一個檔案的長度大小是size,那么從檔案的0偏移開始,按照固定的大小,順序對檔案進行劃分并編號,劃分好的每一個塊稱一個Block。
HDFS默認Block大小是128MB,以一個256MB檔案,共有256/128=2個Block. 不同于普通檔案系統的是,HDFS中,如果一個檔案小于一個資料塊的大小,并不占用整個資料塊存盤空間。
uj5u.com熱心網友回復:
namenode 作用:1.管理所有 datanode, 心跳
2.對所有上傳的檔案進行管理, 存盤元速度, 通過 name 就可以直接指導資料存放到哪里.
3.datanode 資料負載, 上架下架.
4.....
datanode : 存盤資料
細節部分你去查一下資料.
我給你推薦一本書,這是目前官方出的最新的書, 如果是指了解的話, 你去 csdn 找幾篇博客,刷刷就好了
如果系統學習的話,推薦去翻一下書, 系統的學一下.
Hadoop權威指南_第四版_中文版.pdf
uj5u.com熱心網友回復:
Hadoop權威指南_第四版_中文版.pdf這本書可不可以掛個鏈接轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/85344.html
標籤:分布式計算/Hadoop
上一篇:菜鳥自學有什么建議
