前言
本文思維導圖
一、需求描述
實作一個頁面上傳excel的功能，并對excel中的內容做決議，最后存盤在資料庫中，
二、代碼實作
需求實作思路：
- 先對上傳的檔案做校驗和決議，這里我們通過
ExcelUtil工具類來實作； - 決議得到的資料進行批量插入，
2.1 介面定義
@PostMapping(path = "/batchMaintainBankBalance")
@ResponseBody
public ResultDto<Object> batchMaintainBankBalance(@RequestParam("file") MultipartFile updateFile) {
try {
Response response = balanceBankResultBiz.batchMaintainBankBalance(updateFile);
if (response.isSucc()) {
return ResultDto.success(response);
} else {
return ResultDto.fail(response);
}
} catch (Exception e) {
logger.error("excel上傳例外", e);
return ResultDto.fail(ResultStatusEnum.FAIL.getCode(), "excel上傳例外");
}
}
來看看這一小段代碼，我們可以挖掘多少知識點
2.1.1 web中常見的幾個注解（持續更新...）
@Controller：標識一個該類是Spring MVC controller處理器，用來創建處理http請求的物件，@PostMapping、@GetMapping、@RequestMapping：三者都是用于將HTTP請求映射到特定處理程式（介面）的方法注解，其中@PostMapping、@GetMapping屬于組合注解，分別等效于@RequestMapping(method = RequestMethod.POST)和@RequestMapping(method = RequestMethod.GET)@RequestParam：用于將請求中的引數映射到處理程式中的引數，如這里的使用方式：
在呼叫處，其引數名是"file"（相當于key值），而在處理程式中，file的值映射到updateFile中，@RequestParam("file") MultipartFile updateFile
2.1.2 MultipartFile
MultipartFile是spring型別，代表HTML中form data方式上傳的檔案，包含二進制資料+檔案名稱，在這里，它就代表了上傳的excel，
2.1.3 Response
public class Response<T> implements Serializable {
private static final Boolean SUCCESS = true;
private static final Boolean FAILED = false;
private Boolean status;
private T data;
private String msg;
public static<T> Response<T> succ(T data) {
return new Response<T>().setStatus(true).setData(data);
}
public static<T> Response<T> succMsg(String msg) {
return new Response<T>().setStatus(true).setMsg(msg);
}
public static<T> Response<T> succ() {
return new Response<T>().setStatus(true);
}
public static<T> Response<T> failed(T data) {
return new Response<T>().setStatus(false).setData(data);
}
public static<T> Response<T> failedMsg(String msg) {
return new Response<T>().setStatus(false).setMsg(msg);
}
public static<T> Response<T> failed() {
return new Response<T>().setStatus(false);
}
public static<T> Response<T> build(Boolean status, T data) {
return new Response<T>().setStatus(status).setData(data);
}
public static Boolean isSucc(Response response) {
if(response == null) {
return false;
}
return response.getStatus();
}
public Boolean isSucc() {
if(this == null) {
return false;
}
return this.getStatus();
}
}
Response是一個對結果的通用封裝，通過泛型來允許對于存放不同型別的回傳資料，是一種在程式經常用到的類，這里提一下介面中也用到的ResultDto，其實與Response結構是幾乎一樣的，只是該代碼是實際專案中的代碼，實際專案中，對于介面的通用回傳型別使用了ResultDto，對于service層的回傳值型別使用了Response，
2.1.4 ResultStatusEnum
public enum ResultStatusEnum {
SUCCESS("0000", "成功"),
FAIL("1111", "系統例外"),
UNKNOWN("99999", "未知例外");
private String code;
private String message;
ResultStatusEnum(String code, String message) {
this.code = code;
this.message = message;
}
public String getCode() {
return code;
}
public String getMessage() {
return message;
}
public void setMessage(String message) {
this.message = message;
}
}
在專案中一般會對錯誤或例外定義一個列舉類，以上，
2.2 檔案校驗
接下來我們需要對excel檔案本身做一些簡單的校驗
public void checkExcelFile(MultipartFile multipartFile) throws Exception {
if (null == multipartFile || multipartFile.isEmpty()) {
throw new Exception(ResultStatusEnum.FILE_UPLOAD_ERROR.getCode(), ResultStatusEnum.FILE_UPLOAD_ERROR.getMessage());
}
if (!multipartFile.getOriginalFilename().endsWith(".xls") &&
!multipartFile.getOriginalFilename().endsWith(".xlsx")) {
logger.info(multipartFile.getOriginalFilename() + "不是excel檔案");
throw new Exception(ResultStatusEnum.FILE_UPLOAD_PARAM_ERROR.getCode(), multipartFile.getOriginalFilename() + "不支持的檔案格式");
}
if (multipartFile.getSize() > 20 * 1024 * 1024) {
logger.info(multipartFile.getOriginalFilename() + "[" + multipartFile.getSize() + "]超過20M");
throw new Exception(ResultStatusEnum.FILE_UPLOAD_PARAM_ERROR.getCode(), multipartFile.getOriginalFilename() + "超過20M");
}
}
2.3 檔案決議
接下來需要將excel檔案中的內容決議出來，映射為我們需要的java物件，
InputStream inputStream = null;
inputStream = updateFile.getInputStream();
// 獲取excel列名
Field[] fields = new BankBalanceExcelDto().getClass().getDeclaredFields();
List<String> columnName = new ArrayList<>();
Arrays.stream(fields).forEach(field -> columnName.add(field.getName()));
List<BankBalanceExcelDto> listList = ExcelUtil.readObjectList(inputStream, BankBalanceExcelDto.class, columnName, checkExcelError);
2.3.1 BankBalanceExcelDto
BankBalanceExcelDto是與excel中的列名一一對應的一個類，excel中的資料即是映射到該類實體中，
@Getter
@Setter
@ToString
public class BankBalanceExcelDto {
/**
* 交易日期
*/
@ExcelExportAnnotation(column = 0, excelHeadName = "交易日期",checkNull=true)
private String transDateFormat;
/**
* 賬號
*/
@ExcelExportAnnotation(column = 1, excelHeadName = "賬號",checkNull=true, checkLength = true,valueLength = 300)
private String bankAccountNo;
2.3.2 ExcelUtil.readObjectList
該方法將inputStream按照columnName的格式映射到BankBalanceExcelDto.class，錯誤放入checkExcelError中，具體實作詳見附錄：ExcelUtil，
2.4 資料落庫
這一部分就是將2.3中決議得到的資料，插入/更新到資料庫中存盤，這里我們做的是一個批量上傳的任務，下文主要講講幾個對批量上傳操作優化的思路和方法，
三、批量上傳性能優化
以上實作的功能，在實際使用程序中，匯入1000條資料，發現匯入時間超過了20秒，這個是用戶不能接受的，所以我們必須做性能優化，
3.1 性能分析工具—Spring StopWatch
StopWatch 是 Spring 自帶的可用于統計程式各模塊運行時間的一個類，具體使用方式很簡單，如下：
import org.springframework.util.StopWatch;
// 創建一個 StopWatch 實體
StopWatch stopWatch = new StopWatch();
// 引數為 任務名
stopWatch.start("校驗excel檔案格式和大小”);
…校驗檔案格式和大小模塊…
stopWatch.stop();
// 同一個監控可監控多個任務
stopWatch.start("查詢庫中待維護資料”);
…查詢庫中待維護資料…
stopWatch.stop();
//列印出所有任務的資訊
logger.info(stopWatch.prettyPrint());
通過該工具，我們可以針對程式中比較慢的模塊做優化，做到有的放矢，對癥下藥，
接下來分享幾個我具體在優化時的幾個思路和做法
3.2 靜態資料的查詢放在回圈外
對于一些查詢固定資料的操作，不要放到回圈內，導致反復查詢；或者對于同一類資料的查詢，可以一次性查出總集合，放入快取中，在for回圈中可以利用lambda運算式進行高效地篩選，
如：
for (BankBalanceExcelHasRowDto balanceExcelHasRowDto : bankBalanceExcelHasRowDtos) {
int row = balanceExcelHasRowDto.getRowNum();
//校驗所有待維護的賬號&幣種，登錄人是否有權限
//根據賬號+幣種+交易日期+待維護的狀態獲取 賬號負責人和單據狀態
BalanceBankResult query = new BalanceBankResult();
query.setBankAccountNo(balanceExcelHasRowDto.getBankAccountNo());
query.setCurrency(balanceExcelHasRowDto.getCurrency());
query.setBalanceDate(DateUtil.parseDateStr2Date(balanceExcelHasRowDto.getTransDateFormat(), DateUtil.DATE_FORMAT));
query.setBalanceStatus(BankBalanceManagementStatusEnum.TO_MAINTAIN.getCode());
// 根據條件查詢該記錄---A
BankBalanceDetailQueryResponseExtend queryResponse = balanceBankResultMapperX.queryBankBalanceDetailByAccount(query);
if(Objects.isNull(queryResponse)){
return Response.failedMsg("賬號:"+balanceExcelHasRowDto.getBankAccountNo() + "幣種"+balanceExcelHasRowDto.getCurrency()
+"在交易日期"+balanceExcelHasRowDto.getTransDateFormat()+"無待維護資料");
}
}
可以看到我們在回圈內做了一個條件查詢（A），每一條資料都會做一次查詢，我們可以優化為：在回圈外將資料先一次性查詢出來，當然，需要給這個查詢盡量多的查詢條件，不然一次查詢的資料太多，也會導致查詢緩慢和占用過多記憶體的問題，
優化后如下：
ate yesterDay = DateUtil.addDays(new Date(), -1, 0, 0, 0);
Date date = holidayServiceBiz.getPrevWorkDay();
//獲取上一個作業日至上一個自然日的所有存在狀態為待維護的資料 --- B
BankBalanceQueryRequestExtend query = new BankBalanceQueryRequestExtend();
query.setTransDateStart(date);
query.setTransDateEnd(yesterDay);
query.setBalanceStatus(BankBalanceManagementStatusEnum.TO_MAINTAIN.getCode());
List<BankBalanceQueryResponseExtend> queryResponseExtendList =
for (BankBalanceExcelHasRowDto balanceExcelHasRowDto : bankBalanceExcelHasRowDtos) {
int row = balanceExcelHasRowDto.getRowNum();
//2.校驗所有待維護的賬號&幣種，登錄人是否有權限
BankBalanceQueryResponseExtend queryResponse = null;
if (CollectionUtils.isNotEmpty(queryResponseExtendList)) {
List<BankBalanceQueryResponseExtend> bankBalanceQueryResponseExtends = queryResponseExtendList.stream().filter(b -> b.getBankAccountNo().equals(balanceExcelHasRowDto.getBankAccountNo()))
.filter(b -> b.getCurrency().equals(balanceExcelHasRowDto.getCurrency()))
.filter(b -> b.getBalanceDate().equals(DateUtil.parseDateStr2Date(balanceExcelHasRowDto.getTransDateFormat(), DateUtil.DATE_FORMAT)))
.collect(Collectors.toList());
if (CollectionUtils.isEmpty(bankBalanceQueryResponseExtends)) {
return Response.failedMsg("賬號:" + balanceExcelHasRowDto.getBankAccountNo() + "幣種" + balanceExcelHasRowDto.getCurrency()
+ "在交易日期" + balanceExcelHasRowDto.getTransDateFormat() + "無待維護資料");
}
queryResponse = bankBalanceQueryResponseExtends.get(0);
}
}
以上，注釋 B 部分，
3.3 批量插入/更新
批量插入有多種方式，思路有以下兩種：
- 在程式中回圈遍歷逐條更新，
- 一次性更新所有資料（更準確的說是一條sql陳述句來更新所有資料，逐條更新的操作放到資料庫端，在業務代碼端展現的就是一次性更新所有資料），
3.3.1 逐條更新
- 逐條更新方法一
這種方式顯然是最簡單，也最不容易出錯的，即便出錯也只是影響到當條出錯的資料，而且可以對每條資料都比較可控，更新失敗或成功，從什么內容更新到什么內容，都可以在邏輯代碼中獲取，代碼可能像下面這個樣子：
updateBatch(List<MyData> datas){
for(MyData data : datas){
try{
myDataDao.update(data);//更新一條資料，mybatis中如下面的xml檔案的update
}
catch(Exception e){
...//如果更新失敗可以做一些其他的操作，比如說列印出錯日志等
}
}
}
//mybatis中update操作的實作
<update>
update mydata
set ...
where ...
</update>
這種方式最大的問題就是效率問題，逐條更新，每次都會連接資料庫，然后更新，再釋放連接資源，即使有資料庫連接池的存在，這種損耗在資料量較大的時候也會出現效率問題，因
2. 逐條更新方法二
通過回圈，依次執行多條update的sql
<update id="updateBatch" parameterType="java.util.List">
<foreach collection="list" item="item" index="index" open="" close="" separator=";">
update course
<set>
name=${item.name}
</set>
where id = ${item.id}
</foreach>
</update>
之所以說這也是逐條更新，是因為它只是將回圈從業務代碼轉移到了sql中，從sql陳述句中我們也能看到，資料庫其實是回圈執行的多條update陳述句，一條記錄update一次，性能比較差，容易造成阻塞，
3.3.2 批量插入/更新
批量更新
<update id="updateBankBalances" parameterType="java.util.List">
update balance_bank_result
<trim prefix="set" suffixOverrides=",">
<trim prefix="total_balance =case" suffix="end,">
<foreach collection="list" item="item" index="index">
<if test="item.totalBalance !=null">
when id=#{item.id} then #{item.totalBalance}
</if>
</foreach>
</trim>
<trim prefix="available_balance =case" suffix="end,">
<foreach collection="list" item="item" index="index" >
<if test="item.availableBalance !=null">
when id=#{item.id} then #{item.availableBalance}
</if>
</foreach>
</trim>
<trim prefix="version =case" suffix="end,">
<foreach collection="list" item="item" index="index">
WHEN id=#{item.id} THEN version + 1
</foreach>
</trim>
</trim>
where id in
<foreach collection="list" index="index" item="item" separator="," open="(" close=")">
#{item.id,jdbcType=BIGINT}
</foreach>
AND balance_status = 1
</update>
注意：
- 被"trim"標簽包裹的“foreach”中不需要 “separator、open、close”屬性；
- 不能省略每句的
WHEN id=#{item.id}
最后，我們看看批量插入的實作，相較于更新來說，更簡單：
批量插入
<insert id="batchInsertBalanceBankSynTask" useGeneratedKeys="true" keyProperty="id" keyColumn="id">
insert into balance_bank_syn_task (business_id, syn_status, runtimes,
bank_account_no, currency, balance_date,
create_time, last_update_time)
values
<foreach item="item" collection="list" separator=",">
(#{item.businessId,jdbcType=BIGINT}, #{item.synStatus,jdbcType=INTEGER}, #{item.runtimes,jdbcType=INTEGER},
#{item.bankAccountNo,jdbcType=VARCHAR}, #{item.currency,jdbcType=VARCHAR}, #{item.balanceDate,jdbcType=DATE},
#{item.createTime,jdbcType=TIMESTAMP}, #{item.lastUpdateTime,jdbcType=TIMESTAMP})
</foreach>
</insert>
參考文獻
批量更新-https://www.cnblogs.com/eternityz/p/12284760.html
附錄：
ExcelUtil
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/169641.html
標籤：其他
上一篇：JVM性能調優（3） —— 記憶體分配和垃圾回收調優
下一篇：selenium控制已打開的頁面