前言

本文隸屬于專欄《1000個問題搞定大資料技術體系》，該專欄為筆者原創，參考請注明來源，不足和錯誤之處請在評論區幫忙指出，謝謝！

本專欄目錄結構和參考文獻請見1000個問題搞定大資料技術體系

目錄

Spark RDD 論文詳解（一）摘要和介紹

Spark RDD 論文詳解（二）RDDs

Spark RDD 論文詳解（三）Spark 編程介面

Spark RDD 論文詳解（四）表達 RDDs

Spark RDD 論文詳解（五）實作

Spark RDD 論文詳解（六）評估

Spark RDD 論文詳解（七）討論

Spark RDD 論文詳解（八）相關作業和結尾

思維導圖

正文

這里分享一下 RDD 論文下載鏈接：

Resilient Distributed Datasets: A Fault-tolerant Abstraction for In-memory Cluster Computing

標題

Resilient Distributed Datasets: A Fault-tolerant Abstraction for In-memory Cluster Computing

從標題就可以看出，RDD 雖然翻譯過來是彈性分布式資料集，但是更進一步的解釋是：一個用于記憶體集群計算的容錯抽象，

摘要

原文翻譯

我們提出了彈性分布式資料集（RDDs）這個概念，這是一個分布式的記憶體抽象，它可以讓程式員以容錯的方式在大型集群上進行記憶體計算，

當前（2012 年）的計算框架在處理迭代式演算法場景與互動性資料挖掘場景時性能非常差，這個是 RDDs 提出的動機，

如果能將資料保存在記憶體中，將會使得上面兩種場景的性能提高一個數量級，

為了能達到高效的容錯，RDDs 提供了一種受限制的共享記憶體的方式，這種方式是基于粗粒度的轉換共享狀態而非細粒度的更新共享狀態，

然而，我們分析表明 RDDs 可以表達出很多種類的計算，包括目前專門從事迭代任務的編程計算模型，比如 Pregel，當然也可以表達出目前模型表達不出的計算，

我們通過 Spark 系統來實作了 RDDs，并且通過各種各樣的用戶應用和測驗來評估了這個系統，

決議

為了更好的理解上面的摘要，這里介紹一下 Apache Spark 的歷史背景，

Apache Spark 來源于加州大學伯克利分校 2009 年的 Spark 研究專案，該校 AMPLab 實驗室在 2010 年發表了題為：Spark：Cluster Computing with Working Sets 的論文，

這篇論文的下載鏈接在這里——Spark：Cluster Computing with Working Sets

在當時，Hadoop MapReduce 是運行在計算機集群上的主要并行計算引擎，是第一個在數千個節點集群上進行并行資料處理的開源系統，

AMPLab 曾與多位早期的 MapReduce 用戶合作，以了解這種新編程模型的優缺點，因此能夠針對多個實際中的問題，開始設計更通用的計算平臺，

此外，他們還與加利福尼亞大學伯克利分校的 Hadoop 用戶合作，了解他們對平臺的需求，特別是使用迭代演算法進行大規模機器學習的團隊，他們需要對資料進行多次迭代處理，

在于 MapReduce 用戶的交流中，有兩件事很確定，

1. 集群計算具有巨大的潛力，

在使用 MapReduce 的每個組織機構中，可以使用現有資料構建全新的應用程式，并且許多研究組在嘗試了入門示例后開始使用該系統，

2. MapReduce 引擎構建大型應用程式既具有挑戰性又低效，

例如，典型的機器學習演算法可能需要對資料進行 10 次或20 次迭代處理，而在 MapReduce 中，每次迭代都必須通過一個 MapReduce 作業來完成，必須在分布式集群上重新讀取全部資料并單獨啟動一次作業，

為了解決這個問題，Spark 團隊首先設計了一個基于函式式編程的 API，可以簡潔的表達多計算步驟的應用程式，

然后，該團隊通過一個新的引擎實作了這個 API，該引擎可以跨多個計算步驟執行高效的記憶體資料共享，

該團隊還開始與伯克利分校和校外用戶一起測驗該系統，

1、介紹

原文翻譯

像 MapReduce 和 Dryad 等分布式計算框架已經廣泛應用于大資料集的分析，

這些系統可以讓用戶不用擔心分布式作業以及容錯，而是使用一系列的高層次的操作 API 來達到并行計算的目的，

雖然當前的框架提供了大量的對訪問利用計算資源的抽象，但是它們缺少了對利用分布式記憶體的抽象，

這樣使得它們在處理需要在多個計算之間復用中間結果的應用的時候會非常的不高效，

資料的復用在迭代機器學習和圖計算領域（比如 PageRank，K-means 以及線性回歸等演算法）是很常見的，

在互動式資料挖掘中，一個用戶會經常對一個相同的資料子集進行多次不同的特定查詢，所以資料復用在互動式資料挖掘也是很常見的，

然而，目前的大部分的框架對計算之間的資料復用的處理方式就是將中間資料寫到一個可靠穩定的系統中（比如分布式檔案系統），這樣會由于資料的復制備份，磁盤的 I/O 以及資料的序列化而致應用任務執行很費時間，

認識到這個問題后，研究者們已經為一些需要中間資料復用的應用開發出了一些特殊的框架，

比如Pregel 在做迭代式圖計算的時候會將中間結果放在記憶體中，

HaLoop 也提供了迭代式 MapReduce 介面，

然而，這些框架僅僅支持一些特殊的計算模式（比如回圈一系列的 MapReduce 步驟），并且它們是隱式的為些計算模式提供資料共享，

它們沒有提供更加普遍資料復用的抽象，比如可以讓用戶加載幾個資料集到存中然后對這些記憶體中的資料集進行專門的查詢，

在這篇論文中，我們提出了一個全新的抽象，叫做 RDDs，它可以高效的處理廣泛的應用中涉及到的資料用的場景，

RDDs 是一個可以容錯且并行的資料結構，它可以讓用戶顯式的將中間結果資料集保存在記憶體中，可以控制資料集的磁區來達到資料存放處理最優以及可以使用豐富的操作 API 來操作資料集，

在設計 RDDs 的時候，最大的挑戰是定義一個可以高效容錯的編程介面，

已經存在的分布式記憶體抽象系統比如 distributed shared memory、key-value stores、databases 以及 Poccolo，都是提供了基于粒度的更新可變狀態（比如 table 中的 cells）的介面，

基于這種介面下，保證容錯的方式無非是將資料復備份到多臺機器或者在多臺機器上記錄更新的日志，這兩種方式在資料密集性的作業任務中都是非常的耗時的，因為需要通過網路傳輸在機器節點間復制大量的資料，寬帶傳輸資料的速度遠遠比 RAM 記憶體慢，而這兩種方式會占用大量的存盤空間，

與這些系統相反，RDDs 提供了基于粗粒度轉換（比如 map，filter 以及 join）的接口，這些介面可以對多條資料條目應用相同的操作，

這樣就可以通過記錄來生成某個資料集的一系列轉換（就是這個資料集的 lineage ，中文翻譯血緣）而不是記錄真實的資料來達到提供高效的容錯機制，

這個 RDD 就有足夠的資訊知道它是從哪個 RDDs 轉換計算來的，如果一個 RDD 的磁區資料丟失掉了，那么重新計算這個 RDD 所依賴的那個 RDD 對應的磁區就行了，

因此可以很快且不用通過復制備份方式來恢復丟失的資料，

雖然基于粗粒度的轉換一開始看起來受限制，但是 RDDs 非常適合很多并行計算的應用，因為這些應用基本都是在大量的資料元素上應用相同的操作方法，

事實上，我們分析表明 RDDs 不僅可以高效的表達出目前括 MapReduce，DryadLINQ，SQL，Pregel 以及 HaLoop 等系統提出的分布式編程模型，而且還能表達它們表達不了的新的應用的計算模型，比如互動型資料挖掘，

我們相信，RDDs 解決那些新的框架提出來計算需求的能力將會成為是 RDD 抽象強大的最有力證據，

我們在 Spark 系統中實作了 RDDs，這個系統已經在 UC Berkeley 以及好些個公司中應用于研究和生產應中，

Spark 和 DryadLINQ 類似，使用 scala 語言提供了很方便語言集成的編程介面，

另外，Spark可以利用 scala 的解釋器來對大資料集進行互動式的查詢，

我們相信 spark 是首個允許使用多種編程語言來進行分布式記憶體中互動式資料挖掘的系統，

我們通過為基準測驗以及用戶應用的測驗兩個方面來評估了 RDDs 和 spark，

我們分析顯示，Spark 在迭代應用中可以比 hadoop 快上 20 倍以上、使得現實中的資料分析報表的速度提升了 40 倍以及使的互動式的掃描 1TB 資料集的延遲在 5-7 秒，

更重要的是，為了彰顯 RDDs 的普遍性，我們基于Spark 用相對較小的程式（每個包只有 200 行代碼）實作了 Pregel 和 Hadoop 的編程模型，包括它們使用的資料分布優化，

本篇論文以 RDDs（第二節）和 Spark（第三節）的概述開始，

然后在第四節中討論 了RDDs 內部的表達、在第五節中討論了我們的實作以及在第六節中討論了實驗結果，

最后，我們討論了 RDDs 是怎么樣來表達現在已存在的幾個系統的編程模型（第七節）、調查相關作業（第八節）以及總結，

決議

看起來很長，實際上歸納起來就幾點：

1. 為了更好的資料復用，所以創建了分布式記憶體抽象- RDD，
2. RDD 可以高效表達多種計算模型，
3. 通過 lineage 可以實作高效容錯，
4. Spark 支持多種編程語言，支持 scala 的 REPL，
5. 充分的測驗資料表明，Spark 是真滴快！