為什么 spark 比 Hadoop MapReduce 快？根據我的理解，如果 Spark 由于記憶體處理而更快，那么 Hadoop 也會將資料加載到 RAM 中然后進行處理。每個程式首先加載到 RAM 中然后執行。所以我們怎么能說 Spark 正在做記憶體處理，為什么其他大資料技術不做同樣的事情。你能解釋一下嗎？
uj5u.com熱心網友回復：
Spark 是在從 MapReduce 中吸取的所有經驗教訓中創建的。它不是第 2 代，它使用類似的概念進行了重新設計，但真正了解了 map reduce 中缺失/做得不好的地方。
MapReduce 對資料進行磁區，它讀取資料，執行映射，寫入磁盤，發送到 reducer，reducer 將資料寫入磁盤，然后讀取資料，然后縮減資料，然后寫入磁盤。大量的寫作和閱讀。如果您想進行另一項操作，您將重新開始整個回圈。
Spark 嘗試將其保存在記憶體中，雖然它執行多個映射/操作，但它仍然會傳輸資料，但只有在它必須并使用智能邏輯來弄清楚它如何優化你要求它做的事情時。記憶是有幫助的，但不是唯一的。
轉載請註明出處，本文鏈接：https://www.uj5u.com/net/473773.html