摘要:Fork/Join框架位于J.U.C(java.util.concurrent)中,是Java7中提供的用于執行并行任務的框架,其可以將大任務分割成若干個小任務,最侄訓總每個小任務的結果后得到最終結果,
本文分享自華為云社區《如何使用Java7提供的Fork/Join框架實作高并發程式?》,作者:冰 河,
Fork/Join框架位于J.U.C(java.util.concurrent)中,是Java7中提供的用于執行并行任務的框架,其可以將大任務分割成若干個小任務,最侄訓總每個小任務的結果后得到最終結果,基本思想和Hadoop的MapReduce思想類似,
主要采用的是作業竊取演算法(某個執行緒從其他佇列里竊取任務來執行),并行分治計算中的一種Work-stealing策略
為什么需要使用作業竊取演算法呢?
假如我們需要做一個比較大的任務,我們可以把這個任務分割為若干互不依賴的子任務,為了減少執行緒間的競爭,于是把這些子任務分別放到不同的佇列里,并為每個佇列創建一個單獨的執行緒來執行佇列里的任務,執行緒和佇列一一對應,比如A執行緒負責處理A佇列里的任務,但是有的執行緒會先把自己佇列里的任務干完,而其他執行緒對應的佇列里還有任務等待處理,干完活的執行緒與其等著,不如去幫其他執行緒干活,于是它就去其他執行緒的佇列里竊取一個任務來執行,而在這時它們會訪問同一個佇列,所以為了減少竊取任務執行緒和被竊取任務執行緒之間的競爭,通常會使用雙端佇列,被竊取任務執行緒永遠從雙端佇列的頭部拿任務執行,而竊取任務的執行緒永遠從雙端佇列的尾部拿任務執行,
作業竊取演算法的優點
充分利用執行緒進行并行計算,并減少了執行緒間的競爭
作業竊取演算法的缺點
在某些情況下還是存在競爭,比如雙端佇列里只有一個任務時,并且該演算法會消耗更多的系統資源,比如創建多個執行緒和多個雙端佇列,
Fork/Join框架局限性
對于Fork/Join框架而言,當一個任務正在等待它使用Join操作創建的子任務結束時,執行這個任務的作業執行緒查找其他未被執行的任務,并開始執行這些未被執行的任務,通過這種方式,執行緒充分利用它們的運行時間來提高應用程式的性能,為了實作這個目標,Fork/Join框架執行的任務有一些局限性,如下所示,
- 任務只能使用Fork和Join操作來進行同步機制,如果使用了其他同步機制,則在同步操作時,作業執行緒就不能執行其他任務了,比如,在Fork/Join框架中,使任務進行了睡眠,那么,在睡眠期間內,正在執行這個任務的作業執行緒將不會執行其他任務了,
- 在Fork/Join框架中,所拆分的任務不應該去執行IO操作,比如:讀寫資料檔案
- 任務不能拋出檢查例外,必須通過必要的代碼來出來這些例外
Fork/Join框架的核心類
Fork/Join框架的核心是兩個類:ForkJoinPool和ForkJoinTask,ForkJoinPool負責實作作業竊取演算法、管理作業執行緒、提供關于任務的狀態以及執行資訊,ForkJoinTask主要提供在任務中執行Fork和Join操作的機制,
示例代碼
示例代碼如下:
package io.binghe.concurrency.example.aqs; import lombok.extern.slf4j.Slf4j; import java.util.concurrent.ForkJoinPool; import java.util.concurrent.Future; import java.util.concurrent.RecursiveTask; @Slf4j public class ForkJoinTaskExample extends RecursiveTask<Integer> { public static final int threshold = 2; private int start; private int end; public ForkJoinTaskExample(int start, int end) { this.start = start; this.end = end; } @Override protected Integer compute() { int sum = 0; //如果任務足夠小就計算任務 boolean canCompute = (end - start) <= threshold; if (canCompute) { for (int i = start; i <= end; i++) { sum += i; } } else { // 如果任務大于閾值,就分裂成兩個子任務計算 int middle = (start + end) / 2; ForkJoinTaskExample leftTask = new ForkJoinTaskExample(start, middle); ForkJoinTaskExample rightTask = new ForkJoinTaskExample(middle + 1, end); // 執行子任務 leftTask.fork(); rightTask.fork(); // 等待任務執行結束合并其結果 int leftResult = leftTask.join(); int rightResult = rightTask.join(); // 合并子任務 sum = leftResult + rightResult; } return sum; } public static void main(String[] args) { ForkJoinPool forkjoinPool = new ForkJoinPool(); //生成一個計算任務,計算1+2+3+4 ForkJoinTaskExample task = new ForkJoinTaskExample(1, 100); //執行一個任務 Future<Integer> result = forkjoinPool.submit(task); try { log.info("result:{}", result.get()); } catch (Exception e) { log.error("exception", e); } } }
點擊關注,第一時間了解華為云新鮮技術~
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/540350.html
標籤:其他
上一篇:matplotlib畫圖基礎知識
