作者：ksfzhaohui
https://my.oschina.net/OutOfMemory/blog/3117737
最近有個需求決議一個訂單檔案，并且說明檔案可達到千萬條資料，每條資料大概在20個欄位左右，每個欄位使用逗號分隔，需要盡量在半小時內入庫，
思路
1.估算檔案大小
因為告訴檔案有千萬條，同時每條記錄大概在20個欄位左右，所以可以大致估算一下整個訂單檔案的大小，方法也很簡單使用FileWriter往檔案中插入一千萬條資料，查看檔案大小，經測驗大概在1.5G左右；
2.如何批量插入
由上可知檔案比較大，一次性讀取記憶體肯定不行，方法是每次從當前訂單檔案中截取一部分資料，然后進行批量插入，如何批次插入可以使用insert(...)values(...),(...)的方式，經測驗這種方式效率還是挺高的；怎么快速插入 100 條資料，用時最短，這篇看下，
3.資料的完整性
截取資料的時候需要注意，需要保證資料的完整性，每條記錄最后都是一個換行符，需要根據這個標識保證每次截取都是整條數，不要出現半條資料這種情況；
4.資料庫是否支持批次資料
因為需要進行批次資料的插入，資料庫是否支持大量資料寫入，比如這邊使用的mysql，可以通過設定max_allowed_packet來保證批次提交的資料量；
5.中途出錯的情況
因為是大檔案決議，如果中途出現錯誤，比如資料剛好插入到900w的時候，資料庫連接失敗，這種情況不可能重新來插一遍，所有需要記錄每次插入資料的位置，并且需要保證和批次插入的資料在同一個事務中，這樣恢復之后可以從記錄的位置開始繼續插入，
實作
1.準備資料表
這里需要準備兩張表分別是：訂單狀態位置資訊表，訂單表；
CREATE TABLE `file_analysis` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`file_type` varchar(255) NOT NULL COMMENT '檔案型別 01:型別1，02:型別2',
`file_name` varchar(255) NOT NULL COMMENT '檔案名稱',
`file_path` varchar(255) NOT NULL COMMENT '檔案路徑',
`status` varchar(255) NOT NULL COMMENT '檔案狀態 0初始化；1成功；2失敗：3處理中',
`position` bigint(20) NOT NULL COMMENT '上一次處理完成的位置',
`crt_time` datetime NOT NULL COMMENT '創建時間',
`upd_time` datetime NOT NULL COMMENT '更新時間',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8
CREATE TABLE `file_order` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`file_id` bigint(20) DEFAULT NULL,
`field1` varchar(255) DEFAULT NULL,
`field2` varchar(255) DEFAULT NULL,
`field3` varchar(255) DEFAULT NULL,
`field4` varchar(255) DEFAULT NULL,
`field5` varchar(255) DEFAULT NULL,
`field6` varchar(255) DEFAULT NULL,
`field7` varchar(255) DEFAULT NULL,
`field8` varchar(255) DEFAULT NULL,
`field9` varchar(255) DEFAULT NULL,
`field10` varchar(255) DEFAULT NULL,
`field11` varchar(255) DEFAULT NULL,
`field12` varchar(255) DEFAULT NULL,
`field13` varchar(255) DEFAULT NULL,
`field14` varchar(255) DEFAULT NULL,
`field15` varchar(255) DEFAULT NULL,
`field16` varchar(255) DEFAULT NULL,
`field17` varchar(255) DEFAULT NULL,
`field18` varchar(255) DEFAULT NULL,
`crt_time` datetime NOT NULL COMMENT '創建時間',
`upd_time` datetime NOT NULL COMMENT '更新時間',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=10000024 DEFAULT CHARSET=utf8
2.配置資料庫包大小
mysql> show VARIABLES like '%max_allowed_packet%';
+--------------------------+------------+
| Variable_name | Value |
+--------------------------+------------+
| max_allowed_packet | 1048576 |
| slave_max_allowed_packet | 1073741824 |
+--------------------------+------------+
2 rows in set
mysql> set global max_allowed_packet = 1024*1024*10;
Query OK, 0 rows affected
通過設定max_allowed_packet，保證資料庫能夠接收批次插入的資料包大小；不然會出現如下錯誤：
Caused by: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (4980577 > 1048576). You can change this value on the server by setting the max_allowed_packet' variable.
at com.mysql.jdbc.MysqlIO.send(MysqlIO.java:3915)
at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2598)
at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2778)
at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2834)
3.準備測驗資料
public static void main(String[] args) throws IOException {
FileWriter out = new FileWriter(new File("D://xxxxxxx//orders.txt"));
for (int i = 0; i < 10000000; i++) {
out.write(
"vaule1,vaule2,vaule3,vaule4,vaule5,vaule6,vaule7,vaule8,vaule9,vaule10,vaule11,vaule12,vaule13,vaule14,vaule15,vaule16,vaule17,vaule18");
out.write(System.getProperty("line.separator"));
}
out.close();
}
使用FileWriter遍歷往一個檔案里插入1000w條資料即可，這個速度還是很快的，不要忘了在每條資料的后面添加換行符(\n\r)；
4.截取資料的完整性
除了需要設定每次讀取檔案的大小，同時還需要設定一個引數，用來每次獲取一小部分資料，從這小部分資料中獲取換行符(\n\r)，如果獲取不到一直累加直接獲取為止，這個值設定大小大致同每條資料的大小差不多合適，部分實作如下：
ByteBuffer byteBuffer = ByteBuffer.allocate(buffSize); // 申請一個快取區
long endPosition = batchFileSize + startPosition - buffSize;// 子檔案結束位置
long startTime, endTime;
for (int i = 0; i < count; i++) {
startTime = System.currentTimeMillis();
if (i + 1 != count) {
int read = inputChannel.read(byteBuffer, endPosition);// 讀取資料
readW: while (read != -1) {
byteBuffer.flip();// 切換讀模式
byte[] array = byteBuffer.array();
for (int j = 0; j < array.length; j++) {
byte b = array[j];
if (b == 10 || b == 13) { // 判斷\n\r
endPosition += j;
break readW;
}
}
endPosition += buffSize;
byteBuffer.clear(); // 重置快取塊指標
read = inputChannel.read(byteBuffer, endPosition);
}
} else {
endPosition = fileSize; // 最后一個檔案直接指向檔案末尾
}
...省略，更多可以查看Github完整代碼...
}
如上代碼所示開辟了一個緩沖區，根據每行資料大小來定大概在200位元組左右，然后通過遍歷查找換行符(\n\r)，找到以后將當前的位置加到之前的結束位置上，保證了資料的完整性；
5.批次插入資料
通過insert(...)values(...),(...)的方式批次插入資料，部分代碼如下：
// 保存訂單和決議位置保證在一個事務中
SqlSession session = sqlSessionFactory.openSession();
try {
long startTime = System.currentTimeMillis();
FielAnalysisMapper fielAnalysisMapper = session.getMapper(FielAnalysisMapper.class);
FileOrderMapper fileOrderMapper = session.getMapper(FileOrderMapper.class);
fileOrderMapper.batchInsert(orderList);
// 更新上次決議到的位置，同時指定更新時間
fileAnalysis.setPosition(endPosition + 1);
fileAnalysis.setStatus("3");
fileAnalysis.setUpdTime(new Date());
fielAnalysisMapper.updateFileAnalysis(fileAnalysis);
session.commit();
long endTime = System.currentTimeMillis();
System.out.println("===插入資料花費:" + (endTime - startTime) + "ms===");
} catch (Exception e) {
session.rollback();
} finally {
session.close();
}
...省略，更多可以查看Github完整代碼...
如上代碼在一個事務中同時保存批次訂單資料和檔案決議位置資訊，batchInsert通過使用mybatis的<foreach>標簽來遍歷訂單串列，生成values資料；
總結
以上展示了部分代碼，完整的代碼可以查看Github地址中的batchInsert模塊，本地設定每次截取的檔案大小為2M，
經測驗1000w條資料(大小1.5G左右)插入mysql資料庫中，大概花費時間在20分鐘左右，當然可以通過設定截取的檔案大小，花費的時間也會相應的改變，
推薦去我的博客閱讀更多：
1.Java JVM、集合、多執行緒、新特性系列教程
2.Spring MVC、Spring Boot、Spring Cloud 系列教程
3.Maven、Git、Eclipse、Intellij IDEA 系列工具教程
4.Java、后端、架構、阿里巴巴等大廠最新面試題
覺得不錯，別忘了點贊+轉發哦！
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/174386.html
標籤：Java