我通過flume獲取外網服務器上的日志資料（測驗生產資料）作為生產者，每秒生產1條的話，kafka這邊無法消費，要等生產端停止才能拿到未消費的，我試過生產端至少設定4秒產生一條，消費端才能及時消費到，但是我測驗過10秒生產5條，消費端卻可以消費到，這個是怎么回事呢？從生產到成功消費，大概有2秒左右的延遲，3臺1h2g虛擬機集群了的，topic是3個磁區
uj5u.com熱心網友回復：
flume是怎么配置的？我懷疑是你flume把資料刷到記憶體channel，因為緩沖量不夠，就沒有及時sink到kafka正常直接把kafka配置為channel就可以了，sink不配置
uj5u.com熱心網友回復：
我是用2臺機器來做的，比如為a和b，a機器是用來采集，sink的type設定avro，把資料采集到b機器上去，b機器的sink設定的kafka，作為kafka的生產者uj5u.com熱心網友回復：
我回復能賺取積分嗎？uj5u.com熱心網友回復：
導致這個問題的有兩點，一是flume設定的資料條數：如果你寫入kafka的資料條數達不到該設定，那么只有停止的時候才會開始寫入。
二是flume設定的資料量大小（檔案大小）
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/14821.html
標籤：分布式計算/Hadoop