網易這回良心了:
7月16日,網易公司旗下云服務商網易數帆宣布開源一款名為 Curve 的高性能分布式存盤系統,官方稱其性能可達 Ceph 的 1.84 倍,
據官方介紹,Curve 的定位是提供一個高性能、低延遲的存盤底座,基于這個存盤底座,企業可以打造適用于不同應用場景的存盤系統,如塊存盤、物件存盤、云原生資料庫等,
CURVE 的設計開發始終圍繞三個理念:
一是順應當前存盤硬體設施發展趨勢,做到軟硬體結合打造頂級的存盤產品;
二是秉持 “Simple Can be harder than complex”,了解問題本質情況下選擇最簡單的方案解決問題;
三是擁抱開源,在充分調研的前提下使用優秀的開源專案組件,避免造輪子,
當前網易基于 CURVE 已經實作了高性能塊存盤系統,支持快照克隆和恢復 ,支持 QEMU 虛擬機和物理機 NBD 設備兩種掛載方式, 在網易內部作為高性能云盤使用,

目前,網易數帆已經實作了高性能塊存盤系統,根據專案檔案介紹,Curve 主要具有三大特性:高性能、高可用和自治,
1、高性能
Curve 團隊參考了業界一些高效的開源存盤系統,設計了一個新架構以實作高性能低延遲的核心能力,采用 brpc 保證網路資料流的高性能和低延遲,基于 braft 實作多副本一致性下的低延遲,并對 braft 的快照實作進行了進一步的優化,
磁盤 IO 方面,Curve 通過更細粒度的地址空間的 hash 減少 IO 碰撞,增加 IO 并發度,并采用 chunkfilepool 減小 IO 放大倍數,從而最大限度地發揮硬體的性能,
網易公布了 Curve 和 Ceph L 版本的測驗資料對比,在單卷的場景下,核心的 4K 隨機讀/寫的IOPS 性能,Curve 分別是 Ceph 的 1.84 倍和 1.58 倍,同時延遲相比 Ceph 分別降低 48.39%和 37.50%,

圖:Curve與Ceph性能測驗對比
2、高可用
Curve 被設計為核心組件都能容忍部分實體失敗而不影響整個集群的可用性,
網易介紹,無論是單臺存盤故障,還是系統擴容,Curve 的客戶端 IO 都不會受到影響,插拔硬碟、服務行程中斷這些常見例外,IO 抖動也很小,
當然,故障恢復程序對上層 IO 也不會造成明顯影響,
3、自治
Curve 可實作一鍵部署、一鍵升級,運維只要很少的人工干預,并基于 bvar、Promethues 和 Grafana 等開源專案打造了全面的度量標準和告警體系,
目前,基于 Curve 的高性能塊存盤系統已經應用在網易的一些核心業務中,支持快照克隆和恢復, 支持 QEMU 虛擬機和物理機 NBD 設備兩種掛載方式,
網易介紹,系統上線至今 400 多天,尚未出現資料不一致和丟資料的情況,也沒有發生過重大故障,具備相當的可靠性和成熟度,
網易透露,Curve 目前還有一些創新的性能優化作業尚未完成,如細粒度哈希、io_uring 落盤方案,專案團隊下一階段的主要任務就是解決這些問題,預計完成優化之后下個版本還會有 30% 的性能提升,
鑒于目前開源領域還沒有足夠高性能和低延遲的分布式存盤系統,網易數帆方面表示希望把 Curve 開源出來,回饋社區,讓業界一起來使用它,也希望大家一起參與把 Curve 打造得越來越好,
**開源地址: **
https://github.com/opencurve/curve
文章整理轉載自 OSCHINA 社區 [http://www.oschina.net]
www.oschina.net/news/117237/netease-opensource-curve
https://www.oschina.net/p/curve
關注公眾號Java技術堆疊回復"面試"獲取我整理的2020最全面試題及答案,
推薦去我的博客閱讀更多:
1.Java JVM、集合、多執行緒、新特性系列教程
2.Spring MVC、Spring Boot、Spring Cloud 系列教程
3.Maven、Git、Eclipse、Intellij IDEA 系列工具教程
4.Java、后端、架構、阿里巴巴等大廠最新面試題
覺得不錯,別忘了點贊+轉發哦!
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/136602.html
標籤:Java
