1 前言
歡迎訪問南瓜慢說 www.pkslow.com獲取更多精彩文章！
Spring相關文章：Springboot-Cloud
前面寫了一篇文章《通過例子講解Spring Batch入門，優秀的批處理框架》講解Spring Batch入門，但要發揮它的作用，并行處理不能不了解，
2 四種模式
大多數情況下，單執行緒、單行程的Spring Batch已經能滿足你的需求，在我們走向更復雜的特性之前，先看看簡單的能不能用，Keep it Simple and Stupid，
不過，當你確定要使用并行處理時，Spring Batch也提供了多種選擇，整體上分為兩大類：
- （1）單行程、多執行緒
- （2）多行程
細分如下：
- （1）多執行緒的
Step（單行程） - （2）并行的
Steps（單行程） - （3）遠程分塊（多行程）
- （4）遠程磁區（多行程）
光從名字看，很難理解它們之間的差別，我們來一一介紹吧，
2.1 多執行緒的Step
通過提供一個TaskExecutor來執行，而TaskExecutor是可以自定義的，我們可以提供一個基于執行緒池的TaskExecutor，則可以實作多執行緒處理，
@Bean
public TaskExecutor taskExecutor(){
return new SimpleAsyncTaskExecutor("spring_batch");
}
@Bean
public Step sampleStep(TaskExecutor taskExecutor) {
return this.stepBuilderFactory.get("sampleStep")
.<String, String>chunk(10)
.reader(itemReader())
.writer(itemWriter())
.taskExecutor(taskExecutor)
.build();
}
2.2 并行Steps
這個看起來跟第一個很像，其實完全不一樣，它是多個steps之間來并行處理，所以job應該是可以分解為獨立的step，不是按一步一步的順序處理，這樣才可以并行執行，比如下面的例子，step1和step2合并成一個flow1，而step3為flow2，flow1與flow2之間可以并行處理，
代碼如下：
@Bean
public Job job() {
return jobBuilderFactory.get("job")
.start(splitFlow())
.next(step4())
.build() //builds FlowJobBuilder instance
.build(); //builds Job instance
}
@Bean
public Flow splitFlow() {
return new FlowBuilder<SimpleFlow>("splitFlow")
.split(taskExecutor())
.add(flow1(), flow2())
.build();
}
@Bean
public Flow flow1() {
return new FlowBuilder<SimpleFlow>("flow1")
.start(step1())
.next(step2())
.build();
}
@Bean
public Flow flow2() {
return new FlowBuilder<SimpleFlow>("flow2")
.start(step3())
.build();
}
@Bean
public TaskExecutor taskExecutor(){
return new SimpleAsyncTaskExecutor("spring_batch");
}
2.3 遠程分塊
在這種模式下，step會被拆成多個Java行程來處理，主程式與分塊執行程式之間通過中間件來通信，如下圖所示：
由上圖可以看出，讀取只有一個行程Manager，而處理行程Worker則可以多個，所以適用于易讀而難處理的場景，
2.4 遠程磁區
遠程磁區跟遠程分塊容易混淆，但其實它們是不同的，前面講解的遠程分塊是一個行程讀，多個行程處理；而遠程磁區是多個行程讀，多個行程處理，多個行程寫：
所以，遠程磁區適用于容易有IO瓶頸的系統，因為它將讀與寫都拆到多個worker行程中去了，遠程磁區可以使用中間件，如訊息佇列，也可以不用，它通過PartitionHandler來進行磁區處理，而Partitioner則定義了如何進行磁區，
3 總結
本文介紹了Spring Batch并行處理的四種模式，分別是多執行緒Step、并行Steps、遠程分塊、遠程磁區，前兩種比較簡單，給出代碼例子；而后兩種則復雜得多，特別是遠程磁區模式，把IO壓力和業務處理壓力都分解了，能大大提高整個流程的處理效率，后續我們再專門講解一下遠程磁區吧，
歡迎關注微信公眾號<南瓜慢說>，將持續為你更新...
多讀書，多分享；多寫作，多整理，
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/29084.html
標籤：Java
上一篇：mybatis 學習筆記