一.Shuffle Write框架
- 1.不聚合，不排序（BypassMergeSortShuffleWriter）
- 2.不聚合，但排序（SortShuffleWriter）
- 3.聚合，排序或者不排序
二.Shuffle Read框架
- 1.不聚合，不按key排序
- 2.不聚合，按key排序
- 3.聚合，排序或者不排序
三.支持高效聚合和排序的資料結構
四.Spark和MapReduce的shuffle機制對比
五.總結

一.Shuffle Write框架

框架通用流程：

聚合和排序是可選的，

map磁區標記就是在<key，value> record上加上partition資訊，變為<partition，key，value>，

1.不聚合，不排序（BypassMergeSortShuffleWriter）

每個partition都有個buffer，輸出到一個磁區檔案（本地磁盤），最后合并為一個檔案，

優點：速度很快，
缺點：partition過多，buffer就越多，記憶體消耗過大，并且輸出的磁區檔案很多，

常見的算子有：groupByKey(100)，partitionBy(100)，sortByKey(100)，磁區數較少，默認磁區上限引數為200

2.不聚合，但排序（SortShuffleWriter）

排序程序需要Array陣列（PartitonPairBuffer）來進行排序，可以擴容和spill到磁盤，spill到磁盤的多個檔案再進行全域排序（一個map task的排序），結果輸出到磁盤，

只對partition排序

這個可以解決第一種型別的缺點，排序后可直接寫入一個檔案，
常見的算子有：groupByKey(300)，partitionBy(300)，sortByKey(300)，磁區數較多

對 (partition, key) 排序

<key，value> record，變為<(partition，key)，value> record，相當于進行雙重排序，
spark暫時并沒有實作這個排序的資料操作，用戶可自定義，

3.聚合，排序或者不排序

聚合程序需要類似HashMap的資料結構來進行聚合，

HashMap的key是 “partitionId+key” ，
<key，value> record 聚合成<key，func(list(value))> ，對list進行func操作，

比如reduceByKey()進行sum()操作，

有兩種聚合方式：
1.兩步聚合，全部存在list中再func ，占用記憶體比較大，
2.在線聚合，每個record加入HashMap就進行func操作，

排序，再用Array陣列，

spark使用了特殊設計的HashMap，即PartitionAppendOnlyMap，可同時聚合和排序，

二.Shuffle Read框架

框架通用流程：

聚合和排序是可選的，

1.不聚合，不按key排序

從各個map task中獲取一種磁區的資料，輸出到buffer中，再從buffer中獲取資料，

優點：簡單，
適用算子：partitionBy()

2.不聚合，按key排序

排序程序需要Array陣列（PartitonPairBuffer）來進行排序，可以擴容和spill到磁盤，spill到磁盤的多個檔案再進行全域排序，

適用算子：sortByKey()

3.聚合，排序或者不排序

spark使用了特殊設計的HashMap，即ExternalAppendOnlyMap，可同時聚合和排序，

和map端的聚合的PartitionAppendOnlyMap不同，ExternalAppendOnlyMap不包含Partition資訊，

三.支持高效聚合和排序的資料結構

AppendOnlyMap就是只支持添加和更新的HashMap，

HashMap基于陣列+鏈表，AppendOnlyMap只基于陣列（ Array[(K, V)] ），

擴容：利用率達到70%，擴大一倍，因此所有key需要rehash，

排序：將所有<K, V> record移到陣列前端（不留空隙），然后可以快排，按key值排序，比如聚合后需要排序的操作，對于其他操作，只需要按key的Hash排序即可，比如groupByKey()，

AppendOnlyMap只支持記憶體，ExternalAppendOnlyMap支持記憶體+磁盤，
ExternalAppendOnlyMap就是靠AppendOnlyMap和磁盤來解決問題，

全域聚合：最小堆進行多路歸并，

四.Spark和MapReduce的shuffle機制對比

MapReduce的優點：
MapReduce是強制性按key排序，不管map端還是reduce端，原生支持sortByKey()，而且聚合操作，可以從前往后直接遍歷，很高效，
MapReduce的缺點：
1.有些操作并不需要按key排序，如groupByKey()，
2.不能在線聚合，耗記憶體，從reduce函式可看出，函式引數是陣列，（即先combine，再reduce）

spark改進：
1.提供按key排序，按partition排序多種方式，
2.基于hashMap，能夠在線聚合，（比如reduceByKey()，groupByKey()不能，）

五.總結

mr強制按key排序，有聚合操作的話，就是先排序，然后聚合，

spark可以不按key排序，不聚合：partitionBy()
不聚合，按key排序：sortByKey() 基于Array
聚合，不排序：reduceByKey() 基于HashMap
聚合，按key排序：rdd.reduceByKey().sortByKey() 先聚合，再排序

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/282888.html

標籤：其他

上一篇：2021年大資料Flink（四十一）：???????Flink實作訂單自動好評

下一篇：Hadoop之Hive的磁區表

Spark設計原理(一)——Shuffle機制

目錄

一.Shuffle Write框架

1.不聚合，不排序（BypassMergeSortShuffleWriter）

2.不聚合，但排序（SortShuffleWriter）

3.聚合，排序或者不排序

二.Shuffle Read框架

1.不聚合，不按key排序

2.不聚合，按key排序

3.聚合，排序或者不排序

三.支持高效聚合和排序的資料結構

四.Spark和MapReduce的shuffle機制對比

五.總結