簡介
基于kafka的實時資料通道
Confluent一個是企業版（付費）試用30天，一個是開源版（免費）
Confluent讓我們可以將資料用作不斷更新的時間流，而不是離快照，大部分世界100強企業都用事件流，其中用confluent的占大多數，Confluent是基于Kafka構造的，它提供單一平臺給實時和歷史時間，構建全新類別的事件驅動應用程式并獲取通用事件管道，
通過Confluent我們能非常容易的構建出一條實時資料管道，將來自不同的資料源整合到Streaming Application中來服務于我們，Confluent讓我們將關注點集中在資料本身以及它身后的價值，而不必過多的擔心各個系統與機器之間的資料傳輸，重要的是，confluent簡化了連接到kafka的資料源，能更好地使用Kafka構建應用程式，保護、監控和管理kafka基礎架構，
confluent可以用于收集用戶活動資料，系統日志，應用程式指標，股票行情資料和設備工具信號，
Confluent Control Center
confluent control center（控制中心）讓我們很容易地管理kafka的連接，創建，編輯，和管理與其他系統的連接，我們可以從producer到consumer監控data streams，保證我們的每一條訊息都被傳遞，還能測量出訊息的傳輸耗時多久，使用confluent control center能讓開發人員不寫一句代碼，也能構建基于kafka的資料生產管道，
Confluent Replicator（資料復制與遷移）
Confluent Platform使我們可以比以往更輕松地在多個資料中心內維護多個Kafka群集， 管理資料中心之間的資料復制和topic配置，比方說：
ative-active地理定位部署：允許用戶訪問最近（附近）的資料中心，以優化其架構，實作低延遲和高性能
集中分析：將來自多個Kafka集群的資料聚合到一個地方，以進行組織范圍的分析
云遷移：可以使用kafka完成本地應用與云之間的資料遷移
我們可以利用Confluent Replicator從Confluent Control Center或CLI工具配置管理所有這些方案的復制，
Confluent Auto Data Balancer（解決負載均衡）
隨著集群的增長，topic和partition以不同的速度增長，隨著時間的推移，添加和洗掉會導致跨資料中心資源的作業負載不平衡， 有一些brokers是空閑的（資料傾斜），而其他brokers則對大量或多個partitions負載，從而減慢了訊息傳遞的速度， 當執行時，Confluent Auto Data Balancer會監控您的群集中的broker數量，partition大小，partition數量以及群集中的broker數量， 它允許我們轉移資料以在整個群集中創建均勻的作業負載，同時限制重新平衡流量，以最大限度地減少重新平衡時對生產作業負載的影響，
Confluent JMS Client（訊息服務）
Confluent Platform包含適用于Kafka的JMS兼容客戶端，通過用Kafka替換舊的JMS訊息代理，現有的應用程式可以與我們的現代流式平臺集成，而無需重新撰寫應用程式，
Confluent Security Plugins（安全身份驗證）
目前，有一個可用于Confluent REST Proxy的插件，它有助于驗證傳入的請求并將經過身份驗證傳到kafka請求，
CSDN認證博客專家
分布式
Java
架構
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/209723.html
標籤：python