一、Java配置執行緒池
1、執行緒池分類、其他
1.1、分類
IO密集型 和 CPU密集型 任務的特點不同,因此針對不同型別的任務,選擇不同型別的執行緒池可以獲得更好的性能表現,
1.1. IO密集型任務
? IO密集型任務的特點是需要頻繁讀寫磁盤、網路或者其他IO資源,執行時間長,CPU占用率較低,
對于這類任務,執行緒的執行時間主要取決于IO操作的速度,而非CPU的執行能力,
? 因此,執行緒池的執行緒數應該設定較大,以便充分利用IO資源,
通常建議使用CachedThreadPool執行緒池或者FixedThreadPool執行緒池來處理IO密集型任務,
1.2. CPU密集型任務
? CPU密集型任務的特點是需要進行大量的計算,執行時間長,CPU占用率較高,
對于這類任務,執行緒的執行時間主要取決于CPU的執行能力,
? 因此,執行緒池的執行緒數應該設定較小,以充分利用CPU的計算能力,避免過多的執行緒切換和背景關系切換導致的性能損失,
通常建議使用FixedThreadPool執行緒池或者SingleThreadPool執行緒池來處理CPU密集型任務,
總之,選擇恰當的執行緒池型別可以充分發揮不同型別任務的性能,提高程式效率和回應速度,
1.2. 異步執行緒池的選擇
對于異步執行緒池,通常建議使用IO密集型執行緒池,
異步任務通常是網路IO或磁盤IO等操作,這些操作的執行時間相對于CPU計算的執行時間要長得多,
使用IO密集型執行緒池可以更好地利用IO資源,提高多個異步任務的執行效率和吞吐量,
同時避免由于過多的執行緒切換和背景關系切換導致的性能損失,
1.3. 執行緒池作業步奏
很多任務——》執行緒池創建核心執行緒——》任務超過最大執行緒——》把任務放入佇列中等待執行——》佇列中放滿了——》進入處理策略
2、執行緒池引數、合理引數
2.1、引數
①、核心執行緒數
當執行緒池中的執行緒數量為 corePoolSize核心執行緒數 時,即使這些執行緒處于空閑狀態,也不會銷毀(除非設定 allowCoreThreadTimeOut=true),
// -> 核心執行緒,也就是正在處理中的任務
// -> 雖然 CPU 核心數可以作為執行緒池中執行緒數量的參考指標,但最終執行緒數量還需要根據具體情況進行設定和調整,
// -> 如果同時運行的執行緒數量超過 CPU 核心數,就會發生--執行緒背景關系切換--,導致額外的開銷和性能下降,所以執行緒不能創建得過多
②、最大執行緒數
執行緒池中允許的執行緒數量的最大值,
// -> 當執行緒數 = maxPoolSize最大執行緒數時,還有新任務,就會放進佇列中等待執行 ↓↓↓
③、佇列長度
當核心執行緒數達到最大時,新任務會放在佇列中排隊等待執行
// -> 根據業務配置,如果佇列長度過大,可能會導致系統記憶體資源占用過高,最終導致 OOM,需要注意控制
// -> 如果需要執行的任務裝滿了佇列,就會走拒絕策略 ↓↓↓
④、拒絕策略
(官方提供4種,也可以自定義):因達到執行緒邊界和任務佇列滿時,針對新任務的處理方法,
// -> AbortPolicy:直接丟棄任務并拋出 RejectedExecutionException 例外,(默認策略)
// -> DiscardPolicy:直接丟棄掉,不會拋出例外
// -> DiscardOldestPolicy:丟棄佇列最前面的任務,然后重新嘗試執行任務(重復此程序)
// -> CallerRunsPolicy:交給主執行緒(呼叫執行緒)去執行
⑤、空閑執行緒存活時間
(默認60s):設定當前執行緒池中空閑執行緒的存活時間,即執行緒池中的執行緒如果有一段時間沒有任務可執行,則會被回收掉,
// -> 當執行緒池中的執行緒數大于 corePoolSize 時,多余的空閑執行緒將在銷毀之前等待新任務的最長時間,
// -> 如果一個執行緒在空閑時間超過了 keepAliveSeconds,且當前執行緒池中執行緒數量大于 corePoolSize,則該執行緒將會被回收;
// -> 核心執行緒會一直存活,除非執行緒池被關閉 或 設定下面的引數
// -> 如果 AllowCoreThreadTimeout設定為true,核心執行緒也會被回收,直到執行緒池中的執行緒數降為 0,
// 但如果執行緒池中有任務在執行,那么空閑執行緒就會一直保持存活狀態,直到任務執行完畢,
// -> 該方法的使用可以將執行緒池的空閑執行緒回收,以減少資源占用,同時也能保證執行緒池中始終有可用的執行緒來執行任務,提高執行緒池的效率,
⑥、是否禁止執行緒池自動終止空閑的核心執行緒
為 true 時,空閑的核心執行緒會在 keepAliveTime 時間后被回收,并且在后續任務到來時需要重新創建執行緒來執行任務,
// 為 false 時,執行緒池中的核心執行緒不會被回收,即使它們處于空閑狀態一段時間,
// -> 在執行緒池創建時,就會預先創建核心執行緒數的執行緒,這些執行緒將一直存在,除非執行緒池被關倍訓重新配置,
⑦、當前執行緒池的等待時間
指等待所有任務執行完畢后執行緒池的最長時間,300秒 = 5分鐘
// -> 當所有任務執行完畢后,執行緒池會等待一段時間(即等待時間),來確保所有任務都已經完成,
// -> 如果在等待時間內所有任務仍未完成,則執行緒池會強制停止,以確保任務不會無限制地執行下去,
⑧、當前執行緒池是否在關閉時等待所有任務執行完成
// -> 可以確保所有任務都執行完畢后才關閉執行緒池,避免任務被丟棄,同時也確保執行緒池可以正常結束,釋放資源,
// -> 為 true 時,執行緒池在關閉時會等待所有任務都執行完成后再關閉
// -> 為 false 時,執行緒池會直接關閉,未執行完成的任務將被丟棄,
⑨、執行緒名稱前綴
// 9執行緒前綴名稱
executor.setThreadNamePrefix("myIo-Th-Pool-");
// 初始化
executor.initialize();
2.2、合理配置
①執行緒數量:N = 計算機cpu數量
- 如果同時運行的執行緒數量超過 CPU 核心數,就會發生--執行緒背景關系切換--,導致額外的開銷和性能下降,所以執行緒不能創建得過多
- 一般的配置如下:也可以通過計算獲取,
* IO密級 :2 * N
* CPU密級:1 + N
②佇列長度:
- 如果佇列長度過大,可能會導致系統記憶體資源占用過高,最終導致 OOM,需要注意控制
- 根據自身業務配置
3、配置
3.1、配置執行緒池的Bean的選擇
配置執行緒池選擇:ThreadPoolTaskExecutor(Spring專案推薦),還是選擇ThreadPoolExecutor?
ThreadPoolTaskExecutor 是 Spring 框架中對 Java 自帶的執行緒池 ThreadPoolExecutor 進行了封裝和擴展,并增加了一些優化和功能,通常來說,如果你使用 Spring 框架,需要使用執行緒池,那么建議使用 ThreadPoolTaskExecutor, ThreadPoolTaskExecutor 提供了更多的配置選項,例如執行緒池的最大執行緒數、核心執行緒數、緩沖佇列大小、執行緒命名前綴、執行緒池飽和策略等等,同時可以方便地集成到 Spring 應用中,另外,ThreadPoolTaskExecutor 還能夠支持異步執行任務,使用方便, 相比之下,ThreadPoolExecutor 是 Java 自帶的執行緒池實作類,提供了基本的執行緒池功能,但沒有 ThreadPoolTaskExecutor 提供的更多配置選項和功能,如果你不使用 Spring 框架,或者使用 Spring 框架但不需要使用其提供的執行緒池實作,那么可以考慮使用 ThreadPoolExecutor,
綜上所述,選擇使用 ThreadPoolTaskExecutor 還是 ThreadPoolExecutor 取決于具體的業務需求和技術堆疊,可以根據實際情況進行選擇,
3.2、獲取當前電腦(服務器)的核心執行緒數
int N = Runtime.getRuntime().availableProcessors()
3.3、IO密集型
package com.cc.md.config;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.annotation.EnableAsync;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
import java.util.concurrent.ThreadPoolExecutor;
/** IO型的執行緒池
* <li>IO密集型配置執行緒數經驗值是:2N (CPU核數*2)</li>
* <li>異步執行緒池:建議用io密集型:</li>
* 對于異步執行緒池,通常建議使用IO密集型執行緒池,
* 異步任務通常是網路IO或磁盤IO等操作,這些操作的執行時間相對于CPU計算的執行時間要長得多,
* 使用IO密集型執行緒池可以更好地利用IO資源,提高多個異步任務的執行效率和吞吐量,
* 同時避免由于過多的執行緒切換和背景關系切換導致的性能損失,
* @author CC
* @since 2023/5/23 0023
*/
@Configuration
@EnableAsync
public class IoThreadPool {
/** 執行緒數量
* CUP數量:N = Runtime.getRuntime().availableProcessors()
* IO密級:2 * N
* CPU密級:1 + N
*/
public static final int THREAD_SIZE = 2 * (Runtime.getRuntime().availableProcessors());
/**
* 佇列大小
*/
public static final int QUEUE_SIZE = 1000;
@Bean(name = "myIoThreadPool")
public ThreadPoolTaskExecutor threadPoolExecutor(){
//配置執行緒池選擇:ThreadPoolTaskExecutor,還是選擇ThreadPoolExecutor好些?
// -> ThreadPoolTaskExecutor 是 Spring 框架中對 Java 自帶的執行緒池 ThreadPoolExecutor 進行了封裝和擴展,
// 并增加了一些優化和功能,通常來說,如果你使用 Spring 框架,需要使用執行緒池,那么建議使用 ThreadPoolTaskExecutor,
ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
// 1核心執行緒數:當執行緒池中的執行緒數量為 corePoolSize 時,即使這些執行緒處于空閑狀態,也不會銷毀(除非設定 allowCoreThreadTimeOut=true),
// -> 核心執行緒,也就是正在處理中的任務
// -> 雖然 CPU 核心數可以作為執行緒池中執行緒數量的參考指標,但最終執行緒數量還需要根據具體情況進行設定和調整,
// -> 如果同時運行的執行緒數量超過 CPU 核心數,就會發生--執行緒背景關系切換--,導致額外的開銷和性能下降,所以執行緒不能創建得過多
executor.setCorePoolSize(THREAD_SIZE);
// 2最大執行緒數:執行緒池中允許的執行緒數量的最大值,
// -> 當執行緒數 = maxPoolSize最大執行緒數時,還有新任務,就會放進佇列中等待執行 ↓↓↓
executor.setMaxPoolSize(THREAD_SIZE);
// 3佇列長度:當核心執行緒數達到最大時,新任務會放在佇列中排隊等待執行
// -> 根據業務配置,如果佇列長度過大,可能會導致系統記憶體資源占用過高,最終導致 OOM,需要注意控制
// -> 如果需要執行的任務裝滿了佇列,就會走拒絕策略 ↓↓↓
executor.setQueueCapacity(QUEUE_SIZE);
// 4拒絕策略(官方提供4種,也可以自定義):因達到執行緒邊界和任務佇列滿時,針對新任務的處理方法,
// -> AbortPolicy:直接丟棄任務并拋出 RejectedExecutionException 例外,(默認策略)
// -> DiscardPolicy:直接丟棄掉,不會拋出例外
// -> DiscardOldestPolicy:丟棄佇列最前面的任務,然后重新嘗試執行任務(重復此程序)
// -> CallerRunsPolicy:交給主執行緒(呼叫執行緒)去執行
executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy());
// 5空閑執行緒存活時間(默認60s):設定當前執行緒池中空閑執行緒的存活時間,即執行緒池中的執行緒如果有一段時間沒有任務可執行,則會被回收掉,
// -> 當執行緒池中的執行緒數大于 corePoolSize 時,多余的空閑執行緒將在銷毀之前等待新任務的最長時間,
// -> 如果一個執行緒在空閑時間超過了 keepAliveSeconds,且當前執行緒池中執行緒數量大于 corePoolSize,則該執行緒將會被回收;
// -> 核心執行緒會一直存活,除非執行緒池被關閉 或 設定下面的引數
// -> 如果 AllowCoreThreadTimeout設定為true,核心執行緒也會被回收,直到執行緒池中的執行緒數降為 0,
// 但如果執行緒池中有任務在執行,那么空閑執行緒就會一直保持存活狀態,直到任務執行完畢,
// -> 該方法的使用可以將執行緒池的空閑執行緒回收,以減少資源占用,同時也能保證執行緒池中始終有可用的執行緒來執行任務,提高執行緒池的效率,
executor.setKeepAliveSeconds(60);
//6是否禁止執行緒池自動終止空閑的核心執行緒,
// 為 true 時,空閑的核心執行緒會在 keepAliveTime 時間后被回收,并且在后續任務到來時需要重新創建執行緒來執行任務,
// 為 false 時,執行緒池中的核心執行緒不會被回收,即使它們處于空閑狀態一段時間,
// -> 在執行緒池創建時,就會預先創建核心執行緒數的執行緒,這些執行緒將一直存在,除非執行緒池被關倍訓重新配置,
executor.setAllowCoreThreadTimeOut(true);
// 7當前執行緒池的等待時間:指等待所有任務執行完畢后執行緒池的最長時間,300秒 = 5分鐘
// -> 當所有任務執行完畢后,執行緒池會等待一段時間(即等待時間),來確保所有任務都已經完成,
// -> 如果在等待時間內所有任務仍未完成,則執行緒池會強制停止,以確保任務不會無限制地執行下去,
executor.setAwaitTerminationSeconds(300);
// 8當前執行緒池是否在關閉時等待所有任務執行完成
// -> 可以確保所有任務都執行完畢后才關閉執行緒池,避免任務被丟棄,同時也確保執行緒池可以正常結束,釋放資源,
// -> 為 true 時,執行緒池在關閉時會等待所有任務都執行完成后再關閉
// -> 為 false 時,執行緒池會直接關閉,未執行完成的任務將被丟棄,
executor.setWaitForTasksToCompleteOnShutdown(true);
// 9執行緒前綴名稱
executor.setThreadNamePrefix("myIo-Th-Pool-");
// 初始化
executor.initialize();
return executor;
}
}
3.4、CPU密集型
package com.cc.md.config;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
import java.util.concurrent.ThreadPoolExecutor;
/** CPU型的執行緒池
* @author CC
* @since 2023/5/23 0023
*/
@Configuration
public class CpuThreadPool {
/** 執行緒數量
* CUP數量:N = Runtime.getRuntime().availableProcessors()
* IO密級:2 * N
* CPU密級:1 + N
*/
public static final int THREAD_SIZE = 1 + (Runtime.getRuntime().availableProcessors());
/**
* 佇列大小
*/
public static final int QUEUE_SIZE = 1000;
@Bean(name = "myCpuThreadPool")
public ThreadPoolTaskExecutor threadPoolExecutor(){
ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
executor.setCorePoolSize(THREAD_SIZE);
executor.setMaxPoolSize(THREAD_SIZE);
executor.setQueueCapacity(QUEUE_SIZE);
executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy());
executor.setKeepAliveSeconds(60);
executor.setAllowCoreThreadTimeOut(true);
executor.setAwaitTerminationSeconds(300);
executor.setWaitForTasksToCompleteOnShutdown(true);
executor.setThreadNamePrefix("myCpu-T-Pool-");
executor.initialize();
return executor;
}
}
4、執行緒池的原始使用
- 不要這樣使用
- 使用CompletableFuture:見《Java的CompletableFuture,Java的多執行緒開發》
@Resource(name = "myIoThreadPool")
private ThreadPoolTaskExecutor myIoThreadPool;
//執行緒池原始的使用
@Test
void test2() {
try {
for (int i = 0; i < 1000; i++) {
int finalI = i;
myIoThreadPool.submit(() -> {
//第一批創建的執行緒數
log.info("列印:{}", finalI);
//模仿io流耗時
try {
Thread.sleep(5000);
} catch (InterruptedException e) {
throw new RuntimeException(e);
}
});
}
}catch(Exception e){
throw new RuntimeException(e);
}finally {
myIoThreadPool.shutdown();
}
}
- 參考
https://zhuanlan.zhihu.com/p/112527671
https://blog.csdn.net/shang_0122/article/details/120777113
https://blog.csdn.net/zhuimeng_by/article/details/107891268
https://blog.csdn.net/qq_25720801/article/details/129559164
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/553260.html
標籤:Java
上一篇:Spring Boot 我隨手封裝了一個萬能的 Excel 匯出工具,傳什么都能匯出!
下一篇:返回列表
