1.Minio及背景
Minio是一個開源的分布式檔案存盤系統，它基于 Golang 撰寫,雖然輕量，卻擁有著不錯的高性能，可以將圖片、視頻、音樂、pdf這些檔案存盤到多個主機，可以存盤到多個Linux，或者多個Windows，或者多個Mac，Minio中存盤最大檔案可以達到5TB，任何型別的檔案都是支持的，主要應用在微服務系統中，
1.使用Minio的背景
我們先回顧下，平時我們做檔案存盤是普遍如何操作的，簡單描述下步驟和時序，例如我們在添加用戶資訊&上傳照片這個業務中，首先客戶端發起檔案上傳操作到API，服務將檔案存盤到服務器本地檔案夾中，生成回傳一個檔案摘要，摘要包括路徑，檔案ID等一些基本資訊，然后將這些摘要資訊和用戶業務資料組裝程一個DTO,最終存盤到資料庫中，
此時我們只是一個單系統的上傳檔案操作，無論是業務邏輯還是技術都比較簡單，但是如果是一些分布式高并發和高訪問量的電商網站面臨此類業務應該怎么做呢？一般電商類都是幾十上百個微服務組成，如果按照單體系統的思路去實作，如果有100個微服務,那就存盤在100個地方，后期的維護量豈不是令人非常頭疼，加上事情做多錯多，為了降低維護量，提升訪問效率，我們需要將檔案統一存盤，基于MinIO高性能和可用性,我們選擇使用MinIO來作為我們的檔案管理中間件，用它承載系統檔案上傳下載，
2.MinIO實踐
我們先上手簡單操作一下MinIO，先準備環境，然后使用minio來進行檔案的上傳下載 ，首先我們需要下載MinIO，然后創建一個Api服務專案作為我們的檔案微服務 ，
1.Windows瀏覽器在線下載MinIO和mc客戶端，官方檔案地址
2.Linux直接創建對應目錄輸入下載命令或者下到本地拷貝進去，也可以使用Docker
wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
./minio server ./data
3.準備一個Api服務作為檔案微服務 說白了就是使創建一個控制器，訪問這個控制器進行檔案操作,然后Nuget引入操作的Minio包
4.創建一個FileUploadControll控制器來作為我們的介面，此處只演示簡單的上傳下載，當然它還支持分片和批量以及拷貝操作，具體的可以根據需要查看對應的api，也比較簡單
[ApiController]
[Route("[controller]")]
public class FileUploadController : ControllerBase
{
private readonly ILogger<FileUploadController> _logger;
public FileUploadController(ILogger<FileUploadController> logger)
{
_logger = logger;
}
[HttpPost("Upload")]
public IActionResult Upload(IFormFile formFile)
{
//1.創建MinioClient客戶端
MinioClient minioClient = new MinioClient("127.0.0.1:9000", "minioadmin", "minioadmin");
//2.創建檔案桶(資料庫)
if (!minioClient.BucketExistsAsync("micservice").Result)
{
minioClient.MakeBucketAsync("micservice").Wait();
}
//3.上傳檔案(最大上傳5TB的資料)
minioClient.PutObjectAsync("product", formFile.FileName, formFile.OpenReadStream(), formFile.Length).Wait();
_logger.LogInformation($"檔案:{formFile.FileName}上傳到MinIO成功");
return new JsonResult("上傳檔案成功");
}
[HttpGet("Download")]
public IActionResult Download(string fileName)
{
FileStreamResult fileStreamResult = null;
try
{
// 1、創建MioIO客戶端
MinioClient minioClient = new MinioClient("127.0.0.1:9000", "minioadmin", "minioadmin");
var imgStream = new MemoryStream();
// 2、下載圖片
minioClient.GetObjectAsync("product", fileName, stream => stream.CopyTo(imgStream)).Wait();
imgStream.Position = 0;
fileStreamResult = new FileStreamResult(imgStream, "image/jpg");
}
catch (MinioException e)
{
_logger.LogInformation($"檔案:{fileName}下載失敗");
}
return fileStreamResult;
}
}
3.現在需要啟動我們的Minio服務,進入到我們的下載目錄Linux一樣，然后啟動命令列工具
minin.exe server ./data
我們啟動后控制臺會輸出如下資訊，首先第一部分中是我們和Minio,行程通信的服務地址和用戶名密碼
API: http://192.168.0.102:9000 http://127.0.0.1:9000
RootUser: minioadmin
RootPass: minioadmin
第二部分就是minio提供給我們查看和運維的可視化界面,包含地址和用戶名密碼，密碼賬號是支持修改的
Console: http://192.168.0.102:52429 http://127.0.0.1:52429
RootUser: minioadmin
RootPass: minioadmin
3.MinIO檔案高可用
在MinIO中目前我們上傳的檔案存盤在服務器的磁盤中，我們在啟動時默認創建了一個目錄來存盤檔案bucket(檔案桶，理解為存盤檔案的容器)，這時如果洗掉了目錄中的檔案，可想而知會發生什么，所以保證檔案高可用首要需求就是防止誤刪引發的資料丟失，直接導致用戶使用檔案失效，
1.常用的部署架構
在進行MInio檔案高可用應對策略學習之前，我們先了解下保證系統和存盤高可用層面的一些部署方式，
單機部署（stand-alone）：只有一個服務實體提供服務，服務只部署一份，
集群部署（cluster）：有多個服務實體同時提供服務，服務冗余部署，每個冗余的服務都對外提供服務 ，
熱備部署（hot-swap）：只有一個服務提供服務，另一個服務stand-by，在服務掛掉時自動熱替換，
服務冗余部署：只有一個主服務對外提供服務，影子服務在主服務掛掉時頂上
磁盤陣列RAID（Redundant Arrays of independent Disks）
RAID0：存盤性能高的磁盤陣列，又稱striping，它的原理是，將連續的資料分散到不同的磁盤上存盤，這些不同的磁盤能同時并行存取資料
RAID1：安全性高的磁盤陣列，又稱mirror，它的原理是，將資料完全復制到另一個磁盤上，磁盤空間利用率只有50%
RAID0+1：RAID0和RAID1的綜合方案，速度快，安全性又高，但是很貴，這也是國企用的比較多的存盤方案
RAID5：RAID0和RAID1的折衷方案，讀取速度比較快（不如RAID0，因為多存盤了校驗位），安全性也很高（可以利用校驗位恢復資料），空間利用率也不錯（不完全復制，只冗余校驗位），這也是互聯網公司用的比較多的存盤方案
2.多副本
通常面對這種防止誤刪的問題，我們使用的策略就是使用冗余多個目錄來存盤多個副本檔案，多副本技術比較簡單直接，要冗余保護關鍵資料，就干脆多存幾份，單個資料的損壞不要緊，還有備份可以使用，同理多個目錄不行，加入多個主機來存盤，這種做法在很多場景下適用，
但這種方法的優缺點也比較明顯，優點是寫入效率高，無需多余的計算，直接存多份即可，資料恢復快，從副本復制就好了，缺點就是存盤效率低、占用空間以前需要的磁盤容量直接 X2 或者 X3 倍了，對于Minio來說，檔案最大可以支持5TB，那如果按照這種做法對磁盤的消耗是巨大的，就成本方面而言是不可行的，所以MinIO實作了另外一種保證檔案高可用的機制，核心思想和集群方式差不多，但是對檔案存盤的方式跟簡副本拷貝不同，Minio使用了糾刪碼的策略來保證我們的檔案高可用，
但這種方法的優缺點也比較明顯，優點是寫入效率高，無需多余的計算，直接存多份即可，資料恢復快，從副本復制就好了，缺點就是存盤效率低、占用空間以前需要的磁盤容量直接 X2 或者 X3 倍了，對于Minio來說，檔案最大可以支持4個G，那如果按照這種做法對磁盤的消耗是巨大的，就成本方面而言是不可行的，所以Minio實作了另外一種保證檔案高可用的機制，核心思想和集群方式差不多，但是對檔案存盤的方式跟簡副本拷貝不同，Minio使用了糾刪碼的策略來保證我們的檔案高可用，
3.糾刪碼
在這里我們需要搞清楚的問題有好幾個，先列出來吧，當然只是簡單的介紹，具體深入還是需要自己去了解一下，
1.什么是RAID?
RAID中文簡稱為獨立磁盤冗余磁盤陣列，簡單的說，RAID是一種把多塊獨立的物理硬碟）按不同的方式組合起來形成一個硬碟組（邏輯硬碟），從而提供比單個硬碟更高的存盤性能和提供
資料備份技術，
2.什么是糾刪碼?
一種資料冗余保護技術，RAID的延伸,糾刪碼不僅具備識別錯碼和糾正錯碼的功能，而且當錯碼超過糾正范圍時可把無法糾錯的資訊洗掉，
我們使用一個簡單的例子來理解糾刪碼，首先從冗余思想來著手，假設我們在存盤一份大小為2M的檔案時，按照4份副本冗余的做法，占用的空間就是 2Mx4的空間,先將檔案分片為2份,我們取名為Sharding1、Sharding2，然后再做冗余 就是4份資料，如果我們洗掉A1和A2那么A3和A4可以繼續組合成一個完整的檔案，同理洗掉A3和A4它依然可以組合成完整檔案，
這時我們思考，如果我們同時洗掉分片1的資料A1和A3，剩下A2和A4中都是分片2的資料，不就組合不成了嗎？
此時如果使用糾刪碼的做法就是，A1和A2分片資料還是保持不變，A3=分片1+分片2，A4 = 分片1+ 2*分片2,這樣任意兩份資料丟失，都可以恢復出分片1 和 分片2的資料了
1.使用傳統副本冗余至少2個資料目錄,如果分片后就需要最少4份資料，
2.Minio按照最少分片2個的話，至少需要4個資料目錄，必須有一半資料，資料不丟失，才能恢復（N/2），
3.糾刪碼可以恢復任何磁盤損壞的資料，包括人為洗掉、磁盤信道丟失、磁盤中毒，
4.MinIO檔案監聽及多租戶
1.檔案監聽
有時我們想把客戶端上傳下載檔案的一些操作，存盤起來，方便以后做資料分析，最簡單的做法我們可以使用寫日志的方式，但是目前要做的不是介紹這種，而是使用MioIO自帶的檔案監聽機制，MinIO允許我們配置存盤操作日志的存盤介質，例如Mysql、Redis、Elastic Search、Kafka、WebHook等等，MinIO可以設定對某一個Bucket實作事件監聽，
1.首先我們需要在Console中配置存盤介質，此處選擇 Mysql
1.在mysql中創建一個可供MinIO存盤操作的資料庫，
2.在MinIO中配置資料庫名稱、表以及其他連接資訊，
2.重啟MinIO服務，并指定Console地址為9001，
minio server --address :9000 --console-address ":9001" ./data
重啟后控制臺會給出操作Mysql的佇列名
arn:minio:sqs::_:mysql
3.啟動MinIO自帶的命令客戶端mc.exe，給MinIO的Api地址取一個別名為minio_queue，方便后續使用
mc.exe alias set minio_queue http://127.0.0.1:9000 minioadmin minioadmin
4.然后執行客戶端命令，用于告訴MinIO服務將檔案Bucket 和 Mysql佇列事件注冊系結
下面命令的意思是對minio_queue服務中的micservice這個Bucket添加增、刪、改、查的監聽事件到arn:minio:sqs::_:mysql中，說白了就是如果對這個桶中的檔案進行操作，那么就會寫入日志到Mysql中
mc event add --event "put,delete" minio_queue/micservice arn:minio:sqs::_:mysql
2.MinIO多租戶
Minio默認會給一個客戶使用，當客戶變多了之后，所有客戶的資料都集中在Minio內部的時候，導致資料沖突的問題，例如客戶A的資料，可能會修改成客戶B的資料，客戶B可能查詢客戶C的資料，所以解決客戶資料沖突問題,我們采用多租戶來實作，說白了就是系統運行多個實體給多個不同的客戶使用，為不同的客戶端提供服務，
執行如下命令，創建3個minio實體，為三個不同租戶提供服務
minio server --address :8001 --console-address ":9001" ./MinIO/tenant1
minio server --address :8002 --console-address ":9001" ./MinIO/tenant2
minio server --address :8003 --console-address ":9001" ./MinIO/tenant3
轉載請註明出處，本文鏈接：https://www.uj5u.com/net/475972.html
標籤：ASP.NET