在《Kubernetes中分布式存盤Rook-Ceph部署快速演練》文章中，我快速介紹了Kubernetes中分布式存盤Rook-Ceph的部署程序，這里介紹如何在部署于Kubernetes的ASP.NET Core MVC的應用程式中使用Rook-Ceph所創建的存盤物件，
構建ASP.NET Core MVC (.NET 5)應用程式
這個程式的基本功能就是用戶可以通過主頁上傳一個檔案并保存到由Rook-Ceph創建的S3物件存盤，同時將檔案資訊和上傳時間保存為一個MongoDB的檔案，MongoDB使用Rook-Ceph創建的塊存盤（Block Storage），
首先，新建一個基于.NET 5的ASP.NET Core MVC應用程式，添加AWSSDK.S3和MongoDB.Driver這兩個NuGet Package的參考，
然后，修改Startup.cs的ConfigureServices方法：
public void ConfigureServices(IServiceCollection services)
{
services.AddControllersWithViews();
services.Configure<FormOptions>(options =>
{
options.MultipartBodyLengthLimit = 268435456;
});
var s3Endpoint = Configuration["s3:endpoint"];
var s3AccessKey = Configuration["s3:accessKey"];
var s3SecretKey = Configuration["s3:secretKey"];
var s3Configuration = new AmazonS3Config
{
RegionEndpoint = RegionEndpoint.USEast1,
ServiceURL = s3Endpoint,
ForcePathStyle = true
};
services.AddTransient<IAmazonS3>(sp => new AmazonS3Client(s3AccessKey, s3SecretKey, s3Configuration));
var mongoConnectionString = Configuration["mongo:connectionString"];
var mongoDatabase = Configuration["mongo:database"];
services.AddTransient<IDataAccessObject>(sp => new MongoDataAccessObject(new MongoUrl(mongoConnectionString), mongoDatabase));
}
這里用到了配置資訊，為了除錯方便，可以修改appsettings.json檔案，添加對于S3和MongoDB的配置資訊：
{
"Logging": {
"LogLevel": {
"Default": "Information",
"Microsoft": "Warning",
"Microsoft.Hosting.Lifetime": "Information"
}
},
"s3": {
"endpoint": "http://localhost:9000",
"accessKey": "AKIAIOSFODNN7EXAMPLE",
"secretKey": "wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY"
},
"mongo": {
"connectionString": "mongodb://localhost:27017",
"database": "form-file-upload"
},
"AllowedHosts": "*"
}
之后，修改Index.cshtml檔案，將界面元素準備好：
@{
ViewData["Title"] = "Home Page";
}
@model FileUploadModel
<div >
<h1 >Welcome</h1>
<p>Learn about <a href="https://docs.microsoft.com/aspnet/core">building Web apps with ASP.NET Core</a>.</p>
<form method="post" enctype="multipart/form-data" asp-controller="Home" asp-action="Index">
<div >
<div >
<p>Upload one or more files using this form:</p>
<input type="file" name="file" />
</div>
</div>
<div >
<div >
<input type="submit" value="https://www.cnblogs.com/daxnet/p/Save" />
</div>
</div>
</form>
</div>
修改HomeController：
public class HomeController : Controller
{
private readonly ILogger<HomeController> _logger;
private readonly IDataAccessObject _dao;
private readonly IAmazonS3 _s3;
public HomeController(ILogger<HomeController> logger, IAmazonS3 s3, IDataAccessObject dao)
=> (_logger, _s3, _dao) = (logger, s3, dao);
public IActionResult Index()
{
return View();
}
[HttpPost]
[ValidateAntiForgeryToken]
public async Task<IActionResult> Index(FileUploadModel model)
{
if (model.File != null)
{
var fileName = Path.GetFileName(model.File.FileName);
var fileTransUtility = new TransferUtility(_s3);
using var stream = model.File.OpenReadStream();
await fileTransUtility.UploadAsync(stream, "data", $"FormFileUpload/{fileName}");
await _dao.AddAsync<SavedFile>(new SavedFile
{
Timestamp = DateTime.UtcNow,
FileName = fileName
});
return View();
}
else
{
}
return View();
}
public IActionResult Privacy()
{
return View();
}
[ResponseCache(Duration = 0, Location = ResponseCacheLocation.None, NoStore = true)]
public IActionResult Error()
{
return View(new ErrorViewModel { RequestId = Activity.Current?.Id ?? HttpContext.TraceIdentifier });
}
}
其它相關代碼這里就不全部貼出來了，可以直接參考本案例的源代碼，
在開發模式下，我使用運行于Docker的MongoDB以及MINIO分別作為資料庫后端和S3服務后端，在按下F5進行Debug之前，請先確保MongoDB和MINIO已經運行，可以參考https://github.com/daxnet/form-file-upload/blob/main/docker-compose.yml，
生成用于部署應用程式的HELM Chart
仍然使用上面提到的docker-compose.yml檔案，然后使用下面的命令來生成HELM Chart:
kompose convert -f docker-compose.yml -c -o k8s
執行成功后會在k8s的目錄下產生用于部署到Kubernetes的HELM Chart，完整內容可以參考：https://github.com/daxnet/form-file-upload/tree/main/k8s
需要注意幾個內容：
使用Ceph Object Store (S3)
要使用Ceph Object Store，只需要正確配置app中S3的Access Key、Secret Key以及Endpoint即可，對應的就是form-file-upload-service-deployment.yaml中的s3__accessKey、s3__endpoint和s3__secretKey環境變數設定，它們的取值在《Kubernetes中分布式存盤Rook-Ceph部署快速演練》文章中已經介紹過了，只是在Endpoint的Host名稱上需要加上http://，詳細可以參考values.yaml檔案，
使用Ceph Block Storage
部署到Kubernetes的MongoDB會需要使用Ceph Block Storage，在mongodb-deployment.yaml中，會指定容器的volumeMount：
volumeMounts:
- mountPath: /data/db
name: mongo-data
然后在Volume的定義部分，指定使用名為{{ .Release.Name }}-form-file-upload-mongo-data的PersistentVolumeClaim：
volumes:
- name: mongo-data
persistentVolumeClaim:
claimName: {{ .Release.Name }}-form-file-upload-mongo-data
這里的{{ .Release.Name }}表示HELM的release的名字，接下來，在這個PersistentVolumeClaim中（mongo-data-persistentvolumeclaim.yaml），可以指定所需使用的StorageClass：
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 20Gi
storageClassName: {{ .Values.mongoStorageClassName }}
在這里，storageClassName在values.yaml中設定：
mongoStorageClassName: "rook-ceph-block"
而rook-ceph-block就是我們在前文中創建的Block Storage的名字，
部署并運行程式
使用git將https://github.com/daxnet/form-file-upload.git克隆到本地，進入k8s目錄，然后：
helm install ffu .
安裝成功后，查看pods：
$ kubectl get po
NAME READY STATUS RESTARTS AGE
dnsutils 1/1 Running 2 160m
ffu-form-file-upload-mongo-8c46f48fc-vm76k 1/1 Running 0 23m
ffu-form-file-upload-service-7c5c679b96-rxl5s 1/1 Running 0 23m
查看PersistentVolumeClaims：
$ kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
ffu-form-file-upload-mongo-data Bound pvc-8e681be4-4378-11eb-8a9b-0ac973bf1e37 20Gi RWO rook-ceph-block 64m
可以看到，ffu-form-file-upload-mongo-data這個PVC使用的StorageClass就是rook-ceph-block，
查看Services：
$ kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
ffu-form-file-upload-mongo ClusterIP 10.43.83.79 <none> 27017/TCP 65m
ffu-form-file-upload-service ClusterIP 10.43.57.233 <none> 8080/TCP 65m
kubernetes ClusterIP 10.43.0.1 <none> 443/TCP 3d10h
通過port-forward來訪問應用程式：
$ kubectl port-forward svc/ffu-form-file-upload-service 8081:8080
Forwarding from 127.0.0.1:8081 -> 80
Forwarding from [::1]:8081 -> 80
打開瀏覽器，訪問http://localhost:8081：
點擊Choose File按鈕，選擇一個檔案（測驗方便盡量選擇小一點的檔案）點擊Save，成功后沒有任何資訊提示，會回傳到沒有上傳檔案時的狀態，
驗證結果
使用下面的命令查看S3中已經保存的檔案：
$ kubectl exec -it -n rook-ceph deploy/rook-ceph-tools -- s3cmd ls s3://data/FormFileUpload/
2020-12-21 11:47 1260 s3://data/FormFileUpload/abc.sldimport
可以看到，檔案已經成功上傳到S3，
使用下面的命令查看MongoDB中的資料：
$ kubectl exec -it deploy/ffu-form-file-upload-mongo -- mongo --eval "db.SavedFile.find().pretty()" form-file-upload
MongoDB shell version v3.6.21
connecting to: mongodb://127.0.0.1:27017/form-file-upload?gssapiServiceName=mongodb
Implicit session: session { "id" : UUID("85f7d362-13d6-41b9-90f9-9de86f711eb0") }
MongoDB server version: 3.6.21
{
"_id" : BinData(3,"NyKi+5Q5N0O9B1bIddlk/g=="),
"Timestamp" : ISODate("2020-12-21T11:47:01.853Z"),
"FileName" : "abc.sldimport"
}
可以看到，資料記錄已經成功保存到MongoDB，
源代碼和部署腳本
一切的一切，盡在https://github.com/daxnet/form-file-upload，
Enjoy!
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/264106.html
標籤：其他
下一篇：Ch1-What is DAX?