摘要:openGemini是華為云面向物聯網和運維監控場景開源的一款云原生分布式時序資料庫,兼容InfluxDB API,具有高性能、高并發、高擴展等特點,
openGemini是華為云面向物聯網和運維監控場景開源的一款云原生分布式時序資料庫,兼容InfluxDB API,具有高性能、高并發、高擴展等特點,openGemini已在華為云內部廣泛使用,如SRE基礎設施運維監控系統、IoT物聯平臺等,其云服務GaussDB(for Influx)已服務超過100家來自物聯網、車聯網、智能制造等行業客戶,
openGemini v0.2.0版本正式上線!
openGemini v0.2.0版本與之前版本特性功能保持兼容,并新增了5大特性,歡迎體驗使用 v0.2.0版本!
https://github.com/openGemini/openGemini/releases/tag/v0.2.0
5大特性全面了解
支持Linux ARM64架構服務器適配
openGemini可在鯤鵬服務器或者其他ARM64架構的物聯網設備上運行,單機性能相比InfluxDB提升了2-5倍,海量資料場景下openGemini性能更是大幅提升,
支持Docker容器化部署
openGemini提供了dockerfile和相關腳本,支持在KubeEdge 和 K8s平臺部署集群,由于容器重新拉起后,IP地址隨之變化,openGemini新增域名功能,確保集群節點在容器重啟后依然可以保持連通,
應用部署檔案見:https://github.com/openGemini/openGemini/tree/main/docker
openGemini自有客戶端工具ts-cli
ts-cli兼容Influx用法,支持openGemini資料寫入和查詢的全部陳述句,還提供了openGemini常用命令的語法提示和查詢時延回顯功能,與Influx相比,目前暫不支持auth、資料匯入匯出等功能,
下載社區二進制安裝包,解壓后,ts-cli在usr/bin目錄下,與其他組件二進制一起,如果通過原始碼編譯方式,原始碼成功編譯后,在ts-cli在build目錄中,
新增AI時序資料分析算子castor
openGemini提供一套基于AI的資料分析引擎,該引擎支持獨立節點部署,用于對castor算子提供例外檢測能力,目前castor算子能檢測的例外場景包括:
- 資料突增突降例外,比如用于網路流量和服務器負載的波動例外分析
- 資料超過閾值例外,比如用于油井下有毒氣體、可燃氣體濃度的告警
- 資料持續增長或持續下降,比如用于建筑內部或資料中心的溫度監測告警
詳細介紹見:http://www.opengemini.org/docs Data Analysis
提供高性能資料分析Python庫openGemini-castor
openGemini-castor是一個資料分析Python庫,包含了多種基于AI的資料例外檢測演算法,為castor算子提供具體的分析演算法支持,openGemini-castor庫具備如下特性:
- 高性能分析:支持每秒萬級指標(時間線)實時、并發檢測,
- 流式檢測:多種例外檢測器都對流式例外檢測做了相應的支持,完成流式資料的實時檢測,只需快取少量資料且每次不必輸入大量歷史資料,從而可以有效地緩解計算壓力,
- 告警抑制:針對不同場景,可以組合使用多種告警抑制器,以抑制誤報和重復告警,
- 嚴重程度分級:根據多種例外出現情況,按嚴重程度對例外進行分類,輔助開發者對故障嚴重程度的判斷,
- 靈活的演算法編排:可通過配置引數靈活地制定檢測流程,其中,例外檢測器、告警抑制器和嚴重程度分級器都可以根據不同的需求進行配置,
訪問https://github.com/openGemini/openGemini-castor,了解更多詳情
v0.1.0提供了哪些能力?
openGemini v0.1.0雖然為初始版本,但在高性能、高安全、工具鏈、企業級特性、可擴展性、功能等五個方面已具備生產環境可使用的完整能力,
高性能
openGemini采用了MPP大規模并行處理分層架構,針對物聯網、運維監控等領域海量資料管理和分析訴求,對計算引擎和存盤引擎做了大量的優化設計,取得了明顯效果,
- 支持億級指標管理
- 每秒千萬級指標資料并發寫入
- 查詢萬級指標資料毫秒級回應
相比開源的單機版InfluxDB,openGemini單機版寫入性能提升5倍,復雜查詢回應時間縮短60倍,
高安全
openGemini支持資料傳輸加密和用戶密碼鑒權,支持用戶弱密碼校驗和審計日志,此外,openGemini集群的各組件之間通信采用了HTTPS雙向認證(Mutual TLS),確保每一個鏈接都是可信的,
企業級特性
openGemini在v0.1.0版本中提供了如下企業級特性:
- 采用列式資料存盤,不同資料型別對應不同的資料壓縮演算法,相比傳統關系型資料庫,存盤資料量可縮減10-20倍,可支持PB級指標資料的長期高效存盤,相比HBase,存盤空間節省90%以上
- 支持資料保留策略,資料過期后自動洗掉
- 支持寫前日志(WAL),確保設備掉電后資料不丟失
- 提供集群橫向擴展能力,支持大并發資料訪問
- 結合時序資料特點,資料分熱、溫、冷多級存盤,進一步提升了查詢性能;
- 提供了開源監控工具ts-monitor,可采集260余種內核和服務器關鍵監控指標,更好的觀察系統的運行狀況,快速定位和解決問題,
功能
openGemini提供豐富的分析算子(COUNT、SUM、MAX、MIN、LAST、MEAN等)60+種、統計分析算子(PERCENTILE分位數、HISTOGRAM直方圖);支持TAG;支持嵌套查詢,完全兼容InfluxDB內置函式功能,
可擴展性
openGemini集群由ts-sql、ts-store、ts-meta組成,ts-sql和ts-store可根據業務復雜進行靈活擴展,可支持100+節點的集群規模,
工具鏈
openGemini兼容InfluxDB API,因此InfluxDB支持1.x版本的工具鏈可以直接與openGemini對接,openGemini生態圖譜如下圖所示:
結束
感謝openGemini社區所有貢獻者
物聯網、運維監控就選openGemini,openGemini社區邀您一起,共創新、贏未來!
點擊關注,第一時間了解華為云新鮮技術~
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/540182.html
標籤:其它
