一、Atlas是什么？
在當今大資料的應用越來越廣泛的情況下，資料治理一直是企業面臨的巨大問題，
大部分公司只是單純的對資料進行了處理，而資料的血緣，分類等等卻很難實作，市場上也急需要一個專注于資料治理的技術框架，這時Atlas應運而生，
Atlas官網地址：https://atlas.apache.org/
Atlas是Hadoop的資料治理和元資料框架，
Atlas是一組可擴展和可擴展的核心基礎治理服務，使企業能夠有效，高效地滿足Hadoop中的合規性要求，并允許與整個企業資料生態系統集成，
Apache Atlas為組織提供了開放的元資料管理和治理功能，以建立其資料資產的目錄，對這些資產進行分類和治理，并為資料科學家，分析師和資料治理團隊提供圍繞這些資料資產的協作功能，
-
Atlas支持各種Hadoop和非Hadoop元資料型別
-
提供了豐富的REST API進行集成
-
對資料血緣的追溯達到了欄位級別，這種技識訓沒有其實類似框架可以實作
-
對權限也有很好的控制
?
二、架構原理
Atlas包括以下組件：
- 采用Hbase存盤元資料
- 采用Solr實作索引
- Ingest/Export 采集匯出組件 Type System型別系統 Graph Engine圖形引擎 共同構成Atlas的核心機制
- 所有功能通過API向用戶提供，也可以通過Kafka訊息系統進行集成
- Atlas支持各種源獲取元資料：Hive，Sqoop，Storm，，，
- 還有優秀的UI支持
三、效果圖
更多大資料，Atlas，ES，Kafka等技術博文，歡迎關注實時流式計算：
本文由博客一文多發平臺 OpenWrite 發布！
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/42139.html
標籤：大數據
上一篇：hadoop 偽分布式中，hdfs上傳了檔案，內容丟失怎么解決
下一篇：1、騰訊云搭建Hadoop3集群