主頁 > 後端開發 > Java多執行緒開發系列之六:無限分解流----Fork/Join框架

Java多執行緒開發系列之六:無限分解流----Fork/Join框架

2023-06-15 08:08:44 後端開發

Fork譯為拆分,Join譯為合并
Fork/Join框架的思路是把一個非常巨大的任務,拆分成若然的小任務,再由小任務繼續拆解,直至達到一個相對合理的任務粒度,然后執行獲得結果,然后將這些小任務的結果匯總,生成大任務的結果,
直至匯總成最初巨大任務的結果,如下圖:

紅色箭頭代表拆分子任務,
綠色箭頭代表回傳子任務結果
這個框架的思路聽起來,其實用傳統的執行緒池、多執行緒完全就可以解決,但是內部卻有很多小的細節(后邊會說到),再加上清晰的使用思路,讓這個框架還是在多執行緒并發中,占有了一席之地,
Fork/Join框架下,我們常用到三個類:(防盜連接:本文首發自http://www.cnblogs.com/jilodream/ )
RecursiveAction,子任務類,支持子任務有回傳結果任務
RecursiveTask,子任務類,用于有回傳結果的任務
ForkJoinPool,執行子任務的執行緒池,
話不多說,我們直接看代碼:

 1 public class SumDemo extends RecursiveTask<Long> {
 2 
 3     int maxLen = 800_0000;
 4 
 5     int[] arr;
 6     int start;
 7     int end;
 8 
 9 
10     public SumDemo(int[] arr, int start, int end) {
11         this.arr = arr;
12         this.start = start;
13         this.end = end;
14     }
15 
16     @Override
17     protected Long compute() {
18         if (end - start < maxLen) {
19             long a = sum();
20             try {
21                 //Thread.sleep(1);
22             } catch (Exception e) {
23             }
24             return a;
25         }
26         int middle = (start + end) / 2;
27         SumDemo left = new SumDemo(arr, start, middle);
28         SumDemo right = new SumDemo(arr, middle + 1, end);
29         left.fork();
30         right.fork();
31         //invokeAll(left,right);
32         long leftRtn = left.join();
33         long rightRtn = right.join();
34         return leftRtn + rightRtn;
35     }
36 
37     private Long sum() {
38         System.out.println("now" + Thread.currentThread().getName() + "-start:" + start + "-end:" + end);
39         long sum = 0;
40         for (int i = start; i <= end; i++) {
41             sum += arr[i];
42         }
43         return sum;
44     }
45 
46     public static void main(String[] args) throws ExecutionException, InterruptedException {
47         int size = 30000_0000;
48         int[] arr = new int[size];
49         Random random = new Random(0);
50         for (int i = 0; i < size; i++) {
51             arr[i] = random.nextInt(10_0000_0000);
52         }
53         long cal = 0;
54         long start = System.currentTimeMillis();
55         for (int i = 0; i < size; i++) {
56             if (i % 800_0000 == 0) {
57                 Thread.sleep(1);
58             }
59             cal += arr[i];
60         }
61         long finish = System.currentTimeMillis();
62         long timeCost = finish - start;
63         System.out.println("cal" + cal);
64         long start1 = System.currentTimeMillis();
65         ForkJoinPool forkJoinPool = new ForkJoinPool();
66         ForkJoinTask<Long> result = forkJoinPool.submit(new
67                 SumDemo(arr, 0, size - 1));
68         long rtn = result.get();
69         long finish1 = System.currentTimeMillis();
70         long forkJoinCost = finish1 - start1;
71         System.out.println("one thread  cost" + (timeCost));
72         System.out.println("fork join cost" + forkJoinCost);
73     }
74 }

執行的結果大概是這樣的

 1 cal150000314007254036
 2 nowForkJoinPool-1-worker-1-start:0-end:4687499
 3 nowForkJoinPool-1-worker-3-start:187500000-end:192187499
 4 nowForkJoinPool-1-worker-5-start:37500000-end:42187499
 5 nowForkJoinPool-1-worker-6-start:225000000-end:229687499
 6 .....
 7 nowForkJoinPool-1-worker-3-start:220312500-end:224999999
 8 nowForkJoinPool-1-worker-7-start:267187500-end:271874999
 9 nowForkJoinPool-1-worker-2-start:107812500-end:112499999
10 nowForkJoinPool-1-worker-4-start:281250000-end:285937499
11 nowForkJoinPool-1-worker-7-start:271875000-end:276562499
12 nowForkJoinPool-1-worker-5-start:135937500-end:140624999
13 nowForkJoinPool-1-worker-11-start:140625000-end:145312499
14 nowForkJoinPool-1-worker-6-start:276562500-end:281249999
15 nowForkJoinPool-1-worker-4-start:285937500-end:290624999
16 nowForkJoinPool-1-worker-11-start:145312500-end:149999999
17 nowForkJoinPool-1-worker-7-start:290625000-end:295312499
18 nowForkJoinPool-1-worker-4-start:295312500-end:299999999
19 one thread cost136
20 fork join cost67

執行緒池默認大小是根據cpu當前的可用核數來作為大小的,我們這里是12核,但是12核居然只比單一執行緒用時少50%,這是挺奇怪的,這主要是由于我們Demo中的任務是連續的計算密集型任務,這種情況下單一執行緒的表現也很優秀,forkJoin反而由于要不斷協調執行緒

任務而導致會損耗性能,所以差距并不明顯,倘若放開注釋中的睡眠時間,則兩者的差距會拉開的非常大,如下:

1 one thread  cost675
2 fork join cost194

代碼的思路大概是這樣的:

我們先定義一個子任務類,子任務類設定一個閾值,子任務開始任務時會判斷:
如果計算量未超過閾值呢,說明任務足夠小,我們當前子任務直接就執行計算了,
如果計算量超過閾值,說明任務比較大我們需要進行拆分,此時創建好拆分子任務,并使用fork()方法即可,拆分后的子任務,則后續使用join等待結果即可,
這樣通過Fork/Join框架實作大任務的計算就算是搞定了,(防盜連接:本文首發自http://www.cnblogs.com/jilodream/ )

那既然是執行緒池,是如何協調執行緒來計算子任務的呢?

(1)與傳統執行緒池共享一個任務佇列不同的是,Fork/Join框架中,每個子任務都有一個屬于自己執行緒的任務佇列(但是兩者其實并不是一對一的關系,原始碼很復雜),如下圖:

這樣肯定會由于任務規模、計算難度的不同,導致有些執行緒很快執行完了,其它執行緒還有很長的任務佇列,那怎么辦呢?
Fork/Join框架會讓任務已經完成的執行緒,從其它任務的佇列的尾端去取任務,這樣一方面加速了任務的完成,一方面又減少了執行緒由于并發操作佇列可能存在的并發問題,
這種方式,我們也將它稱為“作業竊取”如下圖:

(2)Fork出來的子任務被誰執行了:
通過閱讀原始碼我們可以發現,如果當前執行緒是執行緒池執行緒,則直接把fork出的子任務丟到當前執行緒的佇列中,否則會通過計算隨機的提交到其他的執行緒所擁有的的佇列中,由其他執行緒來完成,

1     public final ForkJoinTask<V> fork() {
2         Thread t;
3         if ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread)
4             ((ForkJoinWorkerThread)t).workQueue.push(this);
5         else
6             ForkJoinPool.common.externalPush(this);
7         return this;
8     }

 

如果你覺得寫的不錯,歡迎轉載和點贊, 轉載時請保留作者署名jilodream/王若伊_恩賜解脫(博客鏈接:http://www.cnblogs.com/jilodream/

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/555178.html

標籤:其他

上一篇:ArcGis 欄位值統計腳本更新

下一篇:返回列表

標籤雲
其他(160982) Python(38230) JavaScript(25495) Java(18240) C(15237) 區塊鏈(8270) C#(7972) AI(7469) 爪哇(7425) MySQL(7251) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5875) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4593) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2435) ASP.NET(2404) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1984) 功能(1967) HtmlCss(1966) Web開發(1951) C++(1940) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1881) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Java多執行緒開發系列之六:無限分解流----Fork/Join框架

    Fork譯為拆分,Join譯為合并Fork/Join框架的思路是把一個非常巨大的任務,拆分成若然的小任務,再由小任務繼續拆解。直至達到一個相對合理的任務粒度。然后執行獲得結果,然后將這些小任務的結果匯總,生成大任務的結果,直至匯總成最初巨大任務的結果。如下圖: 紅色箭頭代表拆分子任務。綠色箭頭代表返 ......

    uj5u.com 2023-06-15 08:08:44 more
  • ArcGis 欄位值統計腳本更新

    本文實作的功能主要是根據已知欄位值,給指定的名稱欄位賦上對應的值;整個處理的邏輯很簡單,就是通過判斷陳述句,判斷其他欄位值,然后給指定的欄位填上對應的值即可; 欄位統計界面如下圖所示: #腳本代碼如下 def updatefiles(ssssss): if(ssssss == 1): total="高 ......

    uj5u.com 2023-06-15 08:03:29 more
  • Aurelia教程_編程入門自學教程_菜鳥教程-免費教程分享

    ## 教程簡介 Aurelia 是一個用于 Web 和移動應用程式開發的現代開源 UI 框架。它允許您撰寫干凈、模塊化的 JavaScript。該框架遵循簡單的約定,并專注于 Web 標準。 [Aurelia入門教程](https://www.itbaoku.cn/tutorial/aurelia- ......

    uj5u.com 2023-06-15 07:58:01 more
  • [ARM匯編]計算機原理與數制基礎—1.1.3 二進制補碼

    在計算機中,為了表示有符號整數(即正數和負數),通常采用二進制補碼表示法。二進制補碼不僅可以表示負數,還能簡化計算機的加法和減法運算。接下來,我們將介紹二進制補碼的概念及其計算方法。 #### 原碼、反碼和補碼 在討論補碼之前,我們先了解一下原碼和反碼的概念。 1. **原碼**:直接將一個有符號整 ......

    uj5u.com 2023-06-15 07:57:54 more
  • 【技識訓累】Python中的NumPy庫【二】

    博客推行版本更新,成果積累制度,已經寫過的博客還會再次更新,不斷地琢磨,高質量高數量都是要追求的,工匠精神是學習必不可少的精神。因此,大家有何建議歡迎在評論區踴躍發言,你們的支持是我最大的動力,你們敢投,我就敢肝 ......

    uj5u.com 2023-06-15 07:57:48 more
  • 重寫RuoYi-Cloud所有功能 整合 SpringCloudAlibaba Dubbo Mybati

    轉載于:https://blog.csdn.net/weixin_40461281/article/details/122837923 RuoYi-Cloud-Plus 微服務通用權限管理系統 重寫 RuoYi-Cloud 全方位升級(不兼容原框架) 系統演示: 傳送門 分布式集群版本(功能一致) ......

    uj5u.com 2023-06-15 07:50:58 more
  • shp 地圖檔案批量添加欄位

    # -- coding:utf-8 -- import geopandas as gpd import os from osgeo import ogr # shp 檔案批量添加欄位 def addfeilds(filepath): for filename in os.listdir(filepa ......

    uj5u.com 2023-06-15 07:45:36 more
  • 真實案例:Feign 切換 okhttp 無法生效,被老大罵的有點慌!

    來源:https://www.cnblogs.com/mufeng3421/p/11442412.html 提示:如果只看如何解決問題,請看文章的末尾如何解決這個問題 ## 1. 場景描述 最近專案中使用了feign當做http請求工具來使用、相對于httpclient、resttemplate來說 ......

    uj5u.com 2023-06-15 07:45:30 more
  • Scala簡介和安裝

    # 簡介 Scala是一種多范式的編程語言(多范式:多種編程方法的意思。有面向程序、面向物件、泛型、函式式四種程式設計方法),其設計的初衷是要集成面向物件編程和函式式編程的各種特性。Scala運行于Java平臺(Java虛擬機),并兼容現有的Java程式 > 官網:https://www.scala ......

    uj5u.com 2023-06-15 07:39:37 more
  • 【python基礎】函式-初識函式

    函式是帶名字的代碼塊,用于完成具體的作業,無需反復撰寫完成該作業的代碼。之前我們接觸過print函式,資料型別轉換中的int函式、str函式,還有串列中的append函式、pop函式、remove函式,以及字典中的keys函式、values函式等等,其實在正式學習函式之前,我們已經接觸了函式,只不過 ......

    uj5u.com 2023-06-15 07:37:23 more