主頁 > 後端開發 > Springboot集成MongoDB存盤檔案、讀取檔案

Springboot集成MongoDB存盤檔案、讀取檔案

2023-04-15 07:22:36 後端開發

一、前言和開發環境及配置

可以轉載,但請注明出處,  

之前自己寫的SpringBoot整合MongoDB的聚合查詢操作,感興趣的可以點擊查閱,

https://www.cnblogs.com/zaoyu/p/springboot-mongodb.html

 

使用mongodb存盤檔案并實作讀取,通過springboot集成mongodb操作, 

可以有兩種實作方式:

1. 單個檔案小于16MB的,可以直接把檔案轉成二進制或者使用如Base64編碼對檔案做編碼轉換,以二進制或者string格式存入mongodb,

讀取時,把二進制資料或者string資料轉成對應的IO流或做解碼,再回傳即可, 

2. 對于單個檔案大于16MB的,可以使用mongodb自帶的GridFS

 

 開發環境、工具:JDK1.8,IDEA 2021

Springboot版本:2.7.5

Mongodb依賴版本:4.6.1

SpringBoot的配置 application.properties 如下

# 應用名稱
spring.application.name=demo
#server.port=10086 不配置的話,默認8080

# springboot下mongoDB的配置引數,
spring.data.mongodb.host=localhost
spring.data.mongodb.port=27017
# 指定資料庫庫名
spring.data.mongodb.database=temp

 

二、實作步驟和代碼

1. 小檔案存盤

1.1 說明和限制

 由于MongoDB限制單個檔案大小不能超過16MB,所以這種方式僅適用于單個檔案小于16MB的,

如果傳入大于16MB的檔案,存盤是會失敗的,報錯如下,

 

1.2 實作代碼

package com.onepiece.mongo;

import org.bson.Document;
import org.bson.types.Binary;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.data.mongodb.core.MongoTemplate;
import org.springframework.data.mongodb.core.query.Criteria;
import org.springframework.data.mongodb.core.query.Query;

import java.io.*;
import java.util.Base64;
import java.util.List;

/**
 * @author zaoyu
 * @description  用于演示Mongodb的檔案存盤(單個檔案不大于16MB)
 */

@SpringBootTest
public class MongoSaveFiles {

    @Autowired
    private MongoTemplate mongoTemplate;

    // collection名
    private String IMAGE_COLLECTION = "image";
    // 源檔案完整路徑
    private String FILE_PATH = "D:\\temp\\onepiece.jpg";
    // 輸出檔案路徑
    private String FILE_OUTPUT_PATH = "C:\\Users\\onepiece\\Desktop\\";
    // 限制16MB
    private Long FILE_SIZE_LIMIT = 16L * 1024L * 1024L;

    @Test
    public void saveFiles(){
        byte[] fileContent = null;
        FileInputStream fis = null;
        try {
            File file = new File(FILE_PATH);
            long length = file.length();
            // 校驗檔案大小,大于16MB回傳, 這里的操作邏輯依據你自己業務需求調整即可,
            if (length >= FILE_SIZE_LIMIT) {
                System.out.println("檔案: " + file.getAbsolutePath() + "  超出單個檔案16MB的限制," );
                return;
            }
            fileContent = new byte[(int) file.length()];
            fis = new FileInputStream(file);
            // 讀取整個檔案
            fis.read(fileContent);
            // 把檔案內容以二進制格式寫入到mongodb
            Document document = new Document();
            // fileName欄位、content欄位自定義, 
            document.append("fileName", file.getName());
            document.append("content", new Binary(fileContent));
            Document insert = mongoTemplate.insert(document, IMAGE_COLLECTION);
            System.out.println("檔案 " + file.getName() + " 已存入mongodb,對應ID是: " + insert.get("_id").toString());
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                fis.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }

    /**
     * 測驗讀取并寫入到指定路徑,
     */
    @Test
    public void readAndWriteFiles(){
        // 這里也是,默認查所有,需要條件自行增加, 簡單取1條驗證, 
        List<Document> result = mongoTemplate.find(new Query(), Document.class, IMAGE_COLLECTION);
        Document document = result.get(0);
        // 取出存盤的二進制資料,這里用binary.class處理,
        Binary content = document.get("content", Binary.class);
        String fileName = document.get("fileName", String.class);
        try {
            String newFilePath = FILE_OUTPUT_PATH + fileName;
            // 寫入到指定路徑
            FileOutputStream fos = new FileOutputStream(newFilePath);
            fos.write(content.getData());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

 

除了二進制的格式,也可以直接把檔案用如Base64之類的編碼工具來轉碼存盤String,

  @Test
    public void testBase64(){
        saveFileWithBase64(FILE_PATH);
        getFileWithBase64();
    }

    public void saveFileWithBase64(String filePath){
        // 讀取檔案并編碼為 Base64 格式
        File file = new File(filePath);
        byte[] fileContent = new byte[(int) file.length()];
        try (FileInputStream inputStream = new FileInputStream(file)) {
            inputStream.read(fileContent);
        } catch (IOException e) {
            e.printStackTrace();
        }
        // 把讀取到的流轉成base64
        String encodedString = Base64.getEncoder().encodeToString(fileContent);
        // 將 Base64 編碼的檔案內容存盤到 MongoDB 檔案中
        Document document = new Document();
        document.put("fileName", file.getName());
        document.put("base64Content", encodedString);
        Document insert = mongoTemplate.insert(document, IMAGE_COLLECTION);
        System.out.println("檔案 " + file.getName() + " 已存入mongodb,對應ID是: " + insert.get("_id").toString());
    }

    public void getFileWithBase64(){
        Criteria criteria = Criteria.where("base64Content").exists(true);
        List<Document> result = mongoTemplate.find(new Query(criteria), Document.class, IMAGE_COLLECTION);
        Document document = result.get(0);
        String base64Content = document.get("base64Content", String.class);
        String fileName = document.get("fileName", String.class);
        byte[] decode = Base64.getDecoder().decode(base64Content);
        try {
            String newFilePath = FILE_OUTPUT_PATH + fileName;
            FileOutputStream fos = new FileOutputStream(newFilePath);
            fos.write(decode);
            System.out.println("檔案已讀取并復制到指定路徑,詳情為:" + newFilePath);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

 

1.3 落庫效果 

直接存盤二進制資料,可以看到,使用BinData存盤,還會顯示位元組數(檔案大小), 

 

2. 大于16MB的檔案存盤,使用GridFS

2.1 gridFS簡介

GridFS is a specification for storing and retrieving files that exceed the BSON-document size limit of 16 MB.

字面直譯就是說GridFS是用來存盤大于BSON檔案限制的16MB的檔案, 

官方檔案 https://www.mongodb.com/docs/manual/core/gridfs/   

 

存盤原理:GridFS 會將大檔案物件分割成多個小的chunk(檔案片段), 一般為256k/個,每個chunk將作為MongoDB的一個檔案(document)被存盤在chunks集合中,

每一個資料庫有一個GridFS區域,用來存盤,

需要通過先創建bucket(和OSS中一樣的概念)來存盤,一個bucket創建后,一旦有檔案存入,在collections中就會自動生成2個集合來存盤檔案的資料和資訊,一般是bucket名字+files和bucket名字+chunks, 

每個檔案的實際內容被存在chunks(二進制資料)中,和檔案有關的meta資料(filename,content_type,還有用戶自定義的屬性)將會被存在files集合中,

如下圖結構

2.2 實作代碼

package com.onepiece.mongo;

import com.mongodb.client.MongoDatabase;
import com.mongodb.client.gridfs.GridFSBucket;
import com.mongodb.client.gridfs.GridFSBuckets;
import com.mongodb.client.gridfs.model.GridFSUploadOptions;
import org.bson.Document;
import org.bson.types.ObjectId;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.data.mongodb.core.MongoTemplate;
import org.springframework.data.mongodb.core.query.Query;
import org.springframework.util.FileCopyUtils;

import java.io.*;
import java.util.List;

/**
 * @author zaoyu
 * @description:使用GridFS存盤檔案并做讀取,
 */

@SpringBootTest
public class MongoGridFS {


    @Autowired
    private MongoTemplate mongoTemplate;

    // GridFS下的bucket,自行指定要把檔案存盤到哪個bucket,
    private String BUCKET_NAME = "images";
    // 源檔案,即要被存盤的檔案的絕對路徑
    private String FILE_PATH = "D:\\temp\\onepiece.jpg";
    // 存盤檔案后自動生成的存盤檔案資訊的collection,一般是xx.files, 
    private String COLLECTION_NAME = "images.files";
    // 用于演示接收輸出檔案的路徑
    private String FILE_OUTPUT_PATH = "C:\\Users\\onepiece\\Desktop\\";

    @Test
    public void testGridFSSaveFiles() {
        saveToGridFS();
        System.out.println("------------");
        readFromGridFS();
    }

    /**
     * 傳入bucketName得到指定bucket操作物件,
     *
     * @param bucketName
     * @return
     */
    public GridFSBucket createGridFSBucket(String bucketName) {
        MongoDatabase db = mongoTemplate.getDb();
        return GridFSBuckets.create(db, bucketName);
    }

    /**
     * 儲存檔案到GridFS
     */
    public void saveToGridFS() {
        // 先呼叫上面方法得到一個GridFSBucket的操作物件
        GridFSBucket gridFSBucket = createGridFSBucket(BUCKET_NAME);
        File file = new File(FILE_PATH);
        FileInputStream inputStream = null;
        try {
            inputStream = new FileInputStream(file);
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        }
        // 設定GridFS存盤配置,這里是設定了每個chunk(塊)的大小為1024個位元組,也可以設定大一點, MetaData是對檔案的說明,如果不需要可以不寫, 也是以鍵值對存在,BSON格式,
        GridFSUploadOptions options = new GridFSUploadOptions().chunkSizeBytes(1024).metadata(new Document("user", "onepiece"));
        // 呼叫GridFSBucket中的uploadFromStream方法,把對應的檔案流傳遞進去,然后就會以binary(二進制格式)存盤到GridFS中,并得到一個檔案在xx.files中的主鍵ID,后面可以用這個ID來查找關聯的二進制檔案資料,
        ObjectId objectId = gridFSBucket.uploadFromStream(file.getName(), inputStream, options);
        System.out.println(file.getName() + "已存入mongodb gridFS, 對應id是:" + objectId);
    }

    /**
     * 從GridFS中讀取檔案
     */
    public void readFromGridFS() {
        // 這里查找條件我先不寫,默認查所有,取第一條做驗證演示, 用Document類接收,
        List<Document> files = mongoTemplate.find(new Query(), Document.class, COLLECTION_NAME);
        Document file = files.get(0);
        // 得到主鍵ID,作為等下要查詢的檔案ID值,
        ObjectId fileId = file.getObjectId("_id");
        String filename = file.getString("filename");
        // 先呼叫上面方法得到一個GridFSBucket的操作物件
        GridFSBucket gridFSBucket = createGridFSBucket(BUCKET_NAME);
        // 呼叫openDownloadStream方法得到檔案IO流,
        InputStream downloadStream = gridFSBucket.openDownloadStream(fileId);
        FileOutputStream fileOutputStream = null;
        try {
            fileOutputStream = new FileOutputStream(FILE_OUTPUT_PATH + filename);
            // 把IO流直接到指定路徑的輸出流物件實作輸出,
            FileCopyUtils.copy(downloadStream, fileOutputStream);
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                fileOutputStream.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }

}

 2.3 落庫效果

bucket:

 

 注意這里的ID,就是files中的主鍵ID,

files collection (image.files):

 

 chunks collection (image.chunks)

可以看到這里的files_id就是對應image.files中的主鍵ID,檔案被拆成多個chunk塊,

 

三、小結

對于小檔案的,可以直接轉二進制存盤,對于大于等于16MB的,使用GridFS存盤, 

 

希望這篇文章能幫到大家,有錯漏之處,歡迎指正,

請多點贊、評論~ 

完,

 

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/550100.html

標籤:其他

上一篇:JVM的記憶體分配及各種常量池的區別(靜態常量池、運行時常量池、字串常量池)

下一篇:用 Go 劍指 Offer 31. 堆疊的壓入、彈出序列 (輔助堆疊)

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Rust中的智能指標:Box<T> Rc<T> Arc<T> Cell<T> RefCell<T> Weak

    Rust中的智能指標是什么 智能指標(smart pointers)是一類資料結構,是擁有資料所有權和額外功能的指標。是指標的進一步發展 指標(pointer)是一個包含記憶體地址的變數的通用概念。這個地址參考,或 ” 指向”(points at)一些其 他資料 。參考以 & 符號為標志并借用了他們所 ......

    uj5u.com 2023-04-20 07:24:10 more
  • Java的值傳遞和參考傳遞

    值傳遞不會改變本身,參考傳遞(如果傳遞的值需要實體化到堆里)如果發生修改了會改變本身。 1.基本資料型別都是值傳遞 package com.example.basic; public class Test { public static void main(String[] args) { int ......

    uj5u.com 2023-04-20 07:24:04 more
  • [2]SpinalHDL教程——Scala簡單入門

    第一個 Scala 程式 shell里面輸入 $ scala scala> 1 + 1 res0: Int = 2 scala> println("Hello World!") Hello World! 檔案形式 object HelloWorld { /* 這是我的第一個 Scala 程式 * 以 ......

    uj5u.com 2023-04-20 07:23:58 more
  • 理解函式指標和回呼函式

    理解 函式指標 指向函式的指標。比如: 理解函式指標的偽代碼 void (*p)(int type, char *data); // 定義一個函式指標p void func(int type, char *data); // 宣告一個函式func p = func; // 將指標p指向函式func ......

    uj5u.com 2023-04-20 07:23:52 more
  • Django筆記二十五之資料庫函式之日期函式

    本文首發于公眾號:Hunter后端 原文鏈接:Django筆記二十五之資料庫函式之日期函式 日期函式主要介紹兩個大類,Extract() 和 Trunc() Extract() 函式作用是提取日期,比如我們可以提取一個日期欄位的年份,月份,日等資料 Trunc() 的作用則是截取,比如 2022-0 ......

    uj5u.com 2023-04-20 07:23:45 more
  • 一天吃透JVM面試八股文

    什么是JVM? JVM,全稱Java Virtual Machine(Java虛擬機),是通過在實際的計算機上仿真模擬各種計算機功能來實作的。由一套位元組碼指令集、一組暫存器、一個堆疊、一個垃圾回收堆和一個存盤方法域等組成。JVM屏蔽了與作業系統平臺相關的資訊,使得Java程式只需要生成在Java虛擬機 ......

    uj5u.com 2023-04-20 07:23:31 more
  • 使用Java接入小程式訂閱訊息!

    更新完微信服務號的模板訊息之后,我又趕緊把微信小程式的訂閱訊息給實作了!之前我一直以為微信小程式也是要企業才能申請,沒想到小程式個人就能申請。 訊息推送平臺🔥推送下發【郵件】【短信】【微信服務號】【微信小程式】【企業微信】【釘釘】等訊息型別。 https://gitee.com/zhongfuch ......

    uj5u.com 2023-04-20 07:22:59 more
  • java -- 緩沖流、轉換流、序列化流

    緩沖流 緩沖流, 也叫高效流, 按照資料型別分類: 位元組緩沖流:BufferedInputStream,BufferedOutputStream 字符緩沖流:BufferedReader,BufferedWriter 緩沖流的基本原理,是在創建流物件時,會創建一個內置的默認大小的緩沖區陣列,通過緩沖 ......

    uj5u.com 2023-04-20 07:22:49 more
  • Java-SpringBoot-Range請求頭設定實作視頻分段傳輸

    老實說,人太懶了,現在基本都不喜歡寫筆記了,但是網上有關Range請求頭的文章都太水了 下面是抄的一段StackOverflow的代碼...自己大修改過的,寫的注釋挺全的,應該直接看得懂,就不解釋了 寫的不好...只是希望能給視頻網站開發的新手一點點幫助吧. 業務場景:視頻分段傳輸、視頻多段傳輸(理 ......

    uj5u.com 2023-04-20 07:22:42 more
  • Windows 10開發教程_編程入門自學教程_菜鳥教程-免費教程分享

    教程簡介 Windows 10開發入門教程 - 從簡單的步驟了解Windows 10開發,從基本到高級概念,包括簡介,UWP,第一個應用程式,商店,XAML控制元件,資料系結,XAML性能,自適應設計,自適應UI,自適應代碼,檔案管理,SQLite資料庫,應用程式到應用程式通信,應用程式本地化,應用程式 ......

    uj5u.com 2023-04-20 07:22:35 more