Spring Boot 分片上傳、斷點續傳、大檔案上傳、秒傳，應有盡有，建議收藏！！-有解無憂

檔案上傳是一個老生常談的話題了，在檔案相對比較小的情況下，可以直接把檔案轉化為位元組流上傳到服務器，但在檔案比較大的情況下，用普通的方式進行上傳，這可不是一個好的辦法，畢竟很少有人會忍受，當檔案上傳到一半中斷后，繼續上傳卻只能重頭開始上傳，這種讓人不爽的體驗，那有沒有比較好的上傳體驗呢，答案有的，就是下邊要介紹的幾種上傳方式，

1、分片上傳

1.1 什么是分片上傳

分片上傳，就是將所要上傳的檔案，按照一定的大小，將整個檔案分隔成多個資料塊（我們稱之為Part）來進行分別上傳，上傳完之后再由服務端對所有上傳的檔案進行匯總整合成原始的檔案，

1.2 分片上傳的場景

大檔案上傳
網路環境環境不好，存在需要重傳風險的場景

2斷點續傳

2.1 什么是斷點續傳

斷點續傳是在下載或上傳時，將下載或上傳任務（一個檔案或一個壓縮包）人為的劃分為幾個部分，每一個部分采用一個執行緒進行上傳或下載，如果碰到網路故障，可以從已經上傳或下載的部分開始繼續上傳或者下載未完成的部分，而沒有必要從頭開始上傳或者下載，

本文的斷點續傳主要是針對斷點上傳場景，

2.2 應用場景

斷點續傳可以看成是分片上傳的一個衍生，因此可以使用分片上傳的場景，都可以使用斷點續傳，

2.3 實作斷點續傳的核心邏輯

在分片上傳的程序中，如果因為系統崩潰或者網路中斷等例外因素導致上傳中斷，這時候客戶端需要記錄上傳的進度，在之后支持再次上傳時，可以繼續從上次上傳中斷的地方進行繼續上傳，

為了避免客戶端在上傳之后的進度資料被洗掉而導致重新開始從頭上傳的問題，服務端也可以提供相應的介面便于客戶端對已經上傳的分片資料進行查詢，從而使客戶端知道已經上傳的分片資料，從而從下一個分片資料開始繼續上傳，

整體的程序如下：

前端將檔案安裝百分比進行計算,每次上傳檔案的百分之一(檔案分片),給檔案分片做上序號
后端將前端每次上傳的檔案,放入到快取目錄
等待前端將全部的檔案內容都上傳完畢后,發送一個合并請求
后端使用RandomAccessFile進多執行緒讀取所有的分片檔案,一個執行緒一個分片
后端每個執行緒按照序號將分片的檔案寫入到目標檔案中
在上傳檔案的程序中發生斷網了或者手動暫停了,下次上傳的時候發送續傳請求,讓后端洗掉最后一個分片
前端重新發送上次的檔案分片

2.4 實作流程步驟

方案一，常規步驟

將需要上傳的檔案按照一定的分割規則，分割成相同大小的資料塊；
初始化一個分片上傳任務，回傳本次分片上傳唯一標識；
按照一定的策略（串行或并行）發送各個分片資料塊；
發送完成后，服務端根據判斷資料上傳是否完整，如果完整，則進行資料塊合成得到原始檔案，

方案二、本文實作的步驟

前端（客戶端）需要根據固定大小對檔案進行分片，請求后端（服務端）時要帶上分片序號和大小，
服務端創建conf檔案用來記錄分塊位置，conf檔案長度為總分片數，每上傳一個分塊即向conf檔案中寫入一個127，那么沒上傳的位置就是默認的0,已上傳的就是Byte.MAX_VALUE 127（這步是實作斷點續傳和秒傳的核心步驟）
服務器按照請求資料中給的分片序號和每片分塊大小（分片大小是固定且一樣的）算出開始位置，與讀取到的檔案片段資料，寫入檔案，

整體的實作流程如下：

3、分片上傳/斷點上傳代碼實作

3.1 前端實作

前端的File物件是特殊型別的Blob，且可以用在任意的Blob型別的背景關系中，

就是說能夠處理Blob物件的方法也能處理File物件，在Blob的方法里有有一個Slice方法可以幫完成切片，

推薦一個開源免費的 Spring Boot 最全教程：

https://github.com/javastacks/spring-boot-best-practice

核心代碼：

fileMD5 (files) {
  // 計算檔案md5
  return new  Promise((resolve,reject) => {
    const fileReader = new FileReader();
    const piece = Math.ceil(files.size / this.pieceSize);
    const nextPiece = () => {
      let start = currentPieces * this.pieceSize;
      let end = start * this.pieceSize >= files.size ? files.size : start + this.pieceSize;
      fileReader.readAsArrayBuffer(files.slice(start,end));
    };

    let currentPieces = 0;
    fileReader.onload = (event) => {
      let e = window.event || event;
      this.spark.append(e.target.result);
      currentPieces++
      if (currentPieces < piece) {
        nextPiece()
      } else {
        resolve({fileName: files.name, fileMd5: this.spark.end()})
      }
    }
    // fileReader.onerror = (err => { reject(err) })
    nextPiece()
  })
}

當然如果我們是vue專案的話還有更好的選擇，我們可以使用一些開源的框架，本文推薦使用vue-simple-uploader 實作檔案分片上傳、斷點續傳及秒傳，

當然我們也可以采用百度提供的webuploader的插件，進行分片，

操作方式也特別簡單，直接按照官方檔案給出的操作進行即可，

3.2 后端寫入檔案

后端用兩種方式實作檔案寫入：

RandomAccessFile
MappedByteBuffer

在向下學習之前，我們先簡單了解一下這兩個類的使用

RandomAccessFile

Java除了File類之外，還提供了專門處理檔案的類，即RandomAccessFile（隨機訪問檔案）類，

該類是Java語言中功能最為豐富的檔案訪問類，它提供了眾多的檔案訪問方法，RandomAccessFile類支持“隨機訪問”方式，這里“隨機”是指可以跳轉到檔案的任意位置處讀寫資料，在訪問一個檔案的時候，不必把檔案從頭讀到尾，而是希望像訪問一個資料庫一樣“隨心所欲”地訪問一個檔案的某個部分，這時使用RandomAccessFile類就是最佳選擇，

RandomAccessFile物件類有個位置指示器，指向當前讀寫處的位置，當前讀寫n個位元組后，檔案指示器將指向這n個位元組后面的下一個位元組處，

剛打開檔案時，檔案指示器指向檔案的開頭處，可以移動檔案指示器到新的位置，隨后的讀寫操作將從新的位置開始，

RandomAccessFile類在資料等長記錄格式檔案的隨機（相對順序而言）讀取時有很大的優勢，但該類僅限于操作檔案，不能訪問其他的I/O設備，如網路、記憶體映像等，

RandomAccessFile類的構造方法如下所示：

//創建隨機存盤檔案流，檔案屬性由引數File物件指定
RandomAccessFile(File file , String mode)

//創建隨機存盤檔案流，檔案名由引數name指定
RandomAccessFile(String name , String mode)

這兩個構造方法均涉及到一個String型別的引數mode，它決定隨機存盤檔案流的操作模式，其中mode值及對應的含義如下：

“r”：以只讀的方式打開，呼叫該物件的任何write（寫）方法都會導致IOException例外
“rw”：以讀、寫方式打開，支持檔案的讀取或寫入，若檔案不存在，則創建之，
“rws”：以讀、寫方式打開，與“rw”不同的是，還要對檔案內容的每次更新都同步更新到潛在的存盤設備中去，這里的“s”表示synchronous（同步）的意思
“rwd”：以讀、寫方式打開，與“rw”不同的是，還要對檔案內容的每次更新都同步更新到潛在的存盤設備中去，使用“rwd”模式僅要求將檔案的內容更新到存盤設備中，而使用“rws”模式除了更新檔案的內容，還要更新檔案的元資料（metadata），因此至少要求1次低級別的I/O操作

import java.io.RandomAccessFile;
import java.nio.charset.StandardCharsets;
public class RandomFileTest {
    private static final String filePath = "C:\\Users\\NineSun\\Desktop\\employee.txt";

    public static void main(String[] args) throws Exception {
        Employee e1 = new Employee("zhangsan", 23);
        Employee e2 = new Employee("lisi", 24);
        Employee e3 = new Employee("wangwu", 25);
        RandomAccessFile ra = new RandomAccessFile(filePath, "rw");
        ra.write(e1.name.getBytes(StandardCharsets.UTF_8));//防止寫入檔案亂碼
        ra.writeInt(e1.age);
        ra.write(e2.name.getBytes());
        ra.writeInt(e2.age);
        ra.write(e3.name.getBytes());
        ra.writeInt(e3.age);
        ra.close();
        RandomAccessFile raf = new RandomAccessFile(filePath, "r");
        int len = 8;
        raf.skipBytes(12);//跳過第一個員工的資訊，其姓名8位元組，年齡4位元組
        System.out.println("第二個員工資訊：");
        String str = "";
        for (int i = 0; i < len; i++) {
            str = str + (char) raf.readByte();
        }
        System.out.println("name:" + str);
        System.out.println("age:" + raf.readInt());
        System.out.println("第一個員工資訊：");
        raf.seek(0);//將檔案指標移動到檔案開始位置
        str = "";
        for (int i = 0; i < len; i++) {
            str = str + (char) raf.readByte();
        }
        System.out.println("name:" + str);
        System.out.println("age:" + raf.readInt());
        System.out.println("第三個員工資訊：");
        raf.skipBytes(12);//跳過第二個員工的資訊
        str = "";
        for (int i = 0; i < len; i++) {
            str = str + (char) raf.readByte();
        }
        System.out.println("name:" + str);
        System.out.println("age:" + raf.readInt());
        raf.close();
    }
}

class Employee {
    String name;
    int age;
    final static int LEN = 8;

    public Employee(String name, int age) {
        if (name.length() > LEN) {
            name = name.substring(0, 8);
        } else {
            while (name.length() < LEN) {
                name = name + "\u0000";
            }
            this.name = name;
            this.age = age;
        }
    }
}

MappedByteBuffer

java io操作中通常采用BufferedReader，BufferedInputStream等帶緩沖的IO類處理大檔案，不過java nio中引入了一種基于MappedByteBuffer操作大檔案的方式，其讀寫性能極高

3.3 進行寫入操作的核心代碼

為了節約文章篇幅，下面我只展示核心代碼，完整代碼可以在文末進行下載

RandomAccessFile實作方式

@UploadMode(mode = UploadModeEnum.RANDOM_ACCESS)
@Slf4j
public class RandomAccessUploadStrategy extends SliceUploadTemplate {

  @Autowired
  private FilePathUtil filePathUtil;

  @Value("${upload.chunkSize}")
  private long defaultChunkSize;

  @Override
  public boolean upload(FileUploadRequestDTO param) {
    RandomAccessFile accessTmpFile = null;
    try {
      String uploadDirPath = filePathUtil.getPath(param);
      File tmpFile = super.createTmpFile(param);
      accessTmpFile = new RandomAccessFile(tmpFile, "rw");
      //這個必須與前端設定的值一致
      long chunkSize = Objects.isNull(param.getChunkSize()) ? defaultChunkSize * 1024 * 1024
          : param.getChunkSize();
      long offset = chunkSize * param.getChunk();
      //定位到該分片的偏移量
      accessTmpFile.seek(offset);
      //寫入該分片資料
      accessTmpFile.write(param.getFile().getBytes());
      boolean isOk = super.checkAndSetUploadProgress(param, uploadDirPath);
      return isOk;
    } catch (IOException e) {
      log.error(e.getMessage(), e);
    } finally {
      FileUtil.close(accessTmpFile);
    }
    return false;
  }
}

MappedByteBuffer實作方式

@UploadMode(mode = UploadModeEnum.MAPPED_BYTEBUFFER)
@Slf4j
public class MappedByteBufferUploadStrategy extends SliceUploadTemplate {

  @Autowired
  private FilePathUtil filePathUtil;

  @Value("${upload.chunkSize}")
  private long defaultChunkSize;

  @Override
  public boolean upload(FileUploadRequestDTO param) {

    RandomAccessFile tempRaf = null;
    FileChannel fileChannel = null;
    MappedByteBuffer mappedByteBuffer = null;
    try {
      String uploadDirPath = filePathUtil.getPath(param);
      File tmpFile = super.createTmpFile(param);
      tempRaf = new RandomAccessFile(tmpFile, "rw");
      fileChannel = tempRaf.getChannel();

      long chunkSize = Objects.isNull(param.getChunkSize()) ? defaultChunkSize * 1024 * 1024
          : param.getChunkSize();
      //寫入該分片資料
      long offset = chunkSize * param.getChunk();
      byte[] fileData = https://www.cnblogs.com/javastack/archive/2023/03/13/param.getFile().getBytes();
      mappedByteBuffer = fileChannel
          .map(FileChannel.MapMode.READ_WRITE, offset, fileData.length);
      mappedByteBuffer.put(fileData);
      boolean isOk = super.checkAndSetUploadProgress(param, uploadDirPath);
      return isOk;
    } catch (IOException e) {
      log.error(e.getMessage(), e);
    } finally {
      FileUtil.freedMappedByteBuffer(mappedByteBuffer);
      FileUtil.close(fileChannel);
      FileUtil.close(tempRaf);

    }

    return false;
  }
}

檔案操作核心模板類代碼

@Slf4j
public abstract class SliceUploadTemplate implements SliceUploadStrategy {

  public abstract boolean upload(FileUploadRequestDTO param);

  protected File createTmpFile(FileUploadRequestDTO param) {

    FilePathUtil filePathUtil = SpringContextHolder.getBean(FilePathUtil.class);
    param.setPath(FileUtil.withoutHeadAndTailDiagonal(param.getPath()));
    String fileName = param.getFile().getOriginalFilename();
    String uploadDirPath = filePathUtil.getPath(param);
    String tempFileName = fileName + "_tmp";
    File tmpDir = new File(uploadDirPath);
    File tmpFile = new File(uploadDirPath, tempFileName);
    if (!tmpDir.exists()) {
      tmpDir.mkdirs();
    }
    return tmpFile;
  }

  @Override
  public FileUploadDTO sliceUpload(FileUploadRequestDTO param) {

    boolean isOk = this.upload(param);
    if (isOk) {
      File tmpFile = this.createTmpFile(param);
      FileUploadDTO fileUploadDTO = this.saveAndFileUploadDTO(param.getFile().getOriginalFilename(), tmpFile);
      return fileUploadDTO;
    }
    String md5 = FileMD5Util.getFileMD5(param.getFile());

    Map<Integer, String> map = new HashMap<>();
    map.put(param.getChunk(), md5);
    return FileUploadDTO.builder().chunkMd5Info(map).build();
  }

  /**
   * 檢查并修改檔案上傳進度
   */
  public boolean checkAndSetUploadProgress(FileUploadRequestDTO param, String uploadDirPath) {

    String fileName = param.getFile().getOriginalFilename();
    File confFile = new File(uploadDirPath, fileName + ".conf");
    byte isComplete = 0;
    RandomAccessFile accessConfFile = null;
    try {
      accessConfFile = new RandomAccessFile(confFile, "rw");
      //把該分段標記為 true 表示完成
      System.out.println("set part " + param.getChunk() + " complete");
      //創建conf檔案檔案長度為總分片數，每上傳一個分塊即向conf檔案中寫入一個127，那么沒上傳的位置就是默認0,已上傳的就是Byte.MAX_VALUE 127
      accessConfFile.setLength(param.getChunks());
      accessConfFile.seek(param.getChunk());
      accessConfFile.write(Byte.MAX_VALUE);

      //completeList 檢查是否全部完成,如果陣列里是否全部都是127(全部分片都成功上傳)
      byte[] completeList = FileUtils.readFileToByteArray(confFile);
      isComplete = Byte.MAX_VALUE;
      for (int i = 0; i < completeList.length && isComplete == Byte.MAX_VALUE; i++) {
        //與運算, 如果有部分沒有完成則 isComplete 不是 Byte.MAX_VALUE
        isComplete = (byte) (isComplete & completeList[i]);
        System.out.println("check part " + i + " complete?:" + completeList[i]);
      }

    } catch (IOException e) {
      log.error(e.getMessage(), e);
    } finally {
      FileUtil.close(accessConfFile);
    }
    boolean isOk = setUploadProgress2Redis(param, uploadDirPath, fileName, confFile, isComplete);
    return isOk;
  }

  /**
   * 把上傳進度資訊存進redis
   */
  private boolean setUploadProgress2Redis(FileUploadRequestDTO param, String uploadDirPath,
      String fileName, File confFile, byte isComplete) {

    RedisUtil redisUtil = SpringContextHolder.getBean(RedisUtil.class);
    if (isComplete == Byte.MAX_VALUE) {
      redisUtil.hset(FileConstant.FILE_UPLOAD_STATUS, param.getMd5(), "true");
      redisUtil.del(FileConstant.FILE_MD5_KEY + param.getMd5());
      confFile.delete();
      return true;
    } else {
      if (!redisUtil.hHasKey(FileConstant.FILE_UPLOAD_STATUS, param.getMd5())) {
        redisUtil.hset(FileConstant.FILE_UPLOAD_STATUS, param.getMd5(), "false");
        redisUtil.set(FileConstant.FILE_MD5_KEY + param.getMd5(),
            uploadDirPath + FileConstant.FILE_SEPARATORCHAR + fileName + ".conf");
      }

      return false;
    }
  }

  /**
   * 保存檔案操作
   */
  public FileUploadDTO saveAndFileUploadDTO(String fileName, File tmpFile) {

    FileUploadDTO fileUploadDTO = null;

    try {

      fileUploadDTO = renameFile(tmpFile, fileName);
      if (fileUploadDTO.isUploadComplete()) {
        System.out
            .println("upload complete !!" + fileUploadDTO.isUploadComplete() + " name=" + fileName);
        //TODO 保存檔案資訊到資料庫

      }

    } catch (Exception e) {
      log.error(e.getMessage(), e);
    } finally {

    }
    return fileUploadDTO;
  }

  /**
   * 檔案重命名
   *
   * @param toBeRenamed 將要修改名字的檔案
   * @param toFileNewName 新的名字
   */
  private FileUploadDTO renameFile(File toBeRenamed, String toFileNewName) {
    //檢查要重命名的檔案是否存在，是否是檔案
    FileUploadDTO fileUploadDTO = new FileUploadDTO();
    if (!toBeRenamed.exists() || toBeRenamed.isDirectory()) {
      log.info("File does not exist: {}", toBeRenamed.getName());
      fileUploadDTO.setUploadComplete(false);
      return fileUploadDTO;
    }
    String ext = FileUtil.getExtension(toFileNewName);
    String p = toBeRenamed.getParent();
    String filePath = p + FileConstant.FILE_SEPARATORCHAR + toFileNewName;
    File newFile = new File(filePath);
    //修改檔案名
    boolean uploadFlag = toBeRenamed.renameTo(newFile);

    fileUploadDTO.setMtime(DateUtil.getCurrentTimeStamp());
    fileUploadDTO.setUploadComplete(uploadFlag);
    fileUploadDTO.setPath(filePath);
    fileUploadDTO.setSize(newFile.length());
    fileUploadDTO.setFileExt(ext);
    fileUploadDTO.setFileId(toFileNewName);

    return fileUploadDTO;
  }

}

上傳介面

@PostMapping(value = "https://www.cnblogs.com/upload")
@ResponseBody
public Result<FileUploadDTO> upload(FileUploadRequestDTO fileUploadRequestDTO) throws IOException {

    boolean isMultipart = ServletFileUpload.isMultipartContent(request);
    FileUploadDTO fileUploadDTO = null;
    if (isMultipart) {

      StopWatch stopWatch = new StopWatch();
      stopWatch.start("upload");
      if (fileUploadRequestDTO.getChunk() != null && fileUploadRequestDTO.getChunks() > 0) {
        fileUploadDTO = fileService.sliceUpload(fileUploadRequestDTO);
      } else {
        fileUploadDTO = fileService.upload(fileUploadRequestDTO);
      }
      stopWatch.stop();
      log.info("{}",stopWatch.prettyPrint());

      return new Result<FileUploadDTO>().setData(fileUploadDTO);
    }

    throw new BizException("上傳失敗", 406);
}

4、秒傳

4.1 什么是秒傳

通俗的說，你把要上傳的東西上傳，服務器會先做MD5校驗，如果服務器上有一樣的東西，它就直接給你個新地址，其實你下載的都是服務器上的同一個檔案，想要不秒傳，其實只要讓MD5改變，就是對檔案本身做一下修改（改名字不行），例如一個文本檔案，你多加幾個字，MD5就變了，就不會秒傳了，

4.2 實作的秒傳核心邏輯

利用redis的set方法存放檔案上傳狀態，其中key為檔案上傳的md5，value為是否上傳完成的標志位，當標志位true為上傳已經完成，此時如果有相同檔案上傳，則進入秒傳邏輯，

如果標志位為false，則說明還沒上傳完成，此時需要在呼叫set的方法，保存塊號檔案記錄的路徑，其中，key為上傳檔案md5加一個固定前綴，value為塊號檔案記錄路徑

4.3 核心代碼

private boolean setUploadProgress2Redis(FileUploadRequestDTO param, String uploadDirPath,
      String fileName, File confFile, byte isComplete) {

    RedisUtil redisUtil = SpringContextHolder.getBean(RedisUtil.class);
    if (isComplete == Byte.MAX_VALUE) {
      redisUtil.hset(FileConstant.FILE_UPLOAD_STATUS, param.getMd5(), "true");
      redisUtil.del(FileConstant.FILE_MD5_KEY + param.getMd5());
      confFile.delete();
      return true;
    } else {
      if (!redisUtil.hHasKey(FileConstant.FILE_UPLOAD_STATUS, param.getMd5())) {
        redisUtil.hset(FileConstant.FILE_UPLOAD_STATUS, param.getMd5(), "false");
        redisUtil.set(FileConstant.FILE_MD5_KEY + param.getMd5(),
            uploadDirPath + FileConstant.FILE_SEPARATORCHAR + fileName + ".conf");
      }

      return false;
    }
}

5、總結

在實作分片上傳的程序，需要前端和后端配合，比如前后端的上傳塊號的檔案大小，前后端必須得要一致，否則上傳就會有問題，

其次檔案相關操作正常都是要搭建一個檔案服務器的，比如使用fastdfs、hdfs等，

著作權宣告：本文為CSDN博主「ZNineSun」的原創文章，遵循CC 4.0 BY-SA著作權協議，轉載請附上原文出處鏈接及本宣告，原文鏈接：https://blog.csdn.net/zhiyikeji/article/details/128242775

近期熱文推薦：

1.1,000+ 道 Java面試題及答案整理(2022最新版)

2.勁爆！Java 協程要來了，，，

3.Spring Boot 2.x 教程，太全了！

4.別再寫滿屏的爆爆爆炸類了，試試裝飾器模式，這才是優雅的方式！！

5.《Java開發手冊（嵩山版）》最新發布，速速下載！

覺得不錯，別忘了隨手點贊+轉發哦！

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/546677.html

標籤：其他

上一篇：Python3程式捕獲Ctrl+C終止信號

下一篇：HDF格式遙感影像批量轉為TIFF格式：ArcPy實作