視頻地址：
B站視頻地址：ELK和Kafka是怎么就玩在一起成了日志采集解決方案
公眾號視頻地址：ELK和Kafka是怎么就玩在一起成了日志采集解決方案
知乎視頻地址：ELK和Kafka是怎么就玩在一起成了日志采集解決方案
視頻文字版
今天呢我就帶來了一期視頻，主要就是講ELK和Kafka之間的通訊關系通過對一張通訊圖，和一些操作命令，讓我們能更深入的去理解ELK在日志采集程序當中以及Kafka在訊息佇列分發程序當中，它們是如何進行配置使用的，以及它們之間的通訊機制希望對您的學習有所幫助，謝謝！
我們的目標是一臺主機主機上的服務會產生日志，例如/var/log目錄下面會不斷產生各種日志記錄我們把這個采集范圍稱為日志采集源這時候我們把ELK的檔案采集器filebeat部署到這臺主機上，讓它實時監測并增量采集最新的日志記錄Filebeat可以給ELK家族的Elasticsearch搜索引擎直接推送采集日志也可以給ELK另外一個日志管道工具Logstash直接推送采集日志最關鍵的一步是filebeat可以將日志作為訊息直接推送給Kafka集群，
我們就通過命令操作演示，更具體的看看它到底是怎么配置的 首先通過pwd命令，查看一下filebeat所在的目錄，我的安裝目錄在/opt/filebeat目錄下然后我們再用ls命令查看一下目錄下面的檔案，找到filebeat的組態檔filebeat.yml，
接著我們用vi命令編輯并查看filebeat.yml檔案我們用output關鍵字，搜索filebeat采集輸出的配置，通過n鍵匹配，我們找到了第一個配置點：Elastisearch輸出好，我們可以看到已經被#注掉的Elastisearch，證明filebeat采集到資料不會輸出給Elasticsearch，同時可以看到Elasticsearch接收地址是node1，埠是9200， 好！接著繼續按n鍵搜索下一個輸出，這時候我們找到了第二個配置點：Logstash輸出我們同樣可以看到已經被#注掉的Logstash，證明filebeat采集到資料不會推給logstash，同時可以看到Logstash的接收地址：node1，埠5044Ok，我們接著繼續按n鍵搜索最后一個資料，這時候我們找到了最后一個輸出點：Kafka輸出這次Kafka的輸出沒有被注釋掉，證明filebeat采集到的資料一定會輸出給Kafka同時我們看到接收資料的Kafka集群是由三臺機器組成node2、node3、node4，埠都是9092推送給Kafka的topic是testT3
通過命令演示中的配置，讓我們尋求一種最合理的日志管道傳輸解決方案，首先filebeat將資料推送給Kafka集群，這樣可以形成一個大吞吐承載力的資料緩沖區，而且由Kafka可以接收更多的filebeat采集點接著Logstash作為Kafka的消費者客戶端訂閱testT3 Topic，Logstash具備了各種過濾器，編解碼器，進行資料清洗，可以為下一階段的輸出提供更高質量的日志資料最后Logstash將日志資料寫入elasticsearch集群的索引當中，完成日志的最終落地，
前往讀位元組的知乎——了解更多關于大資料的知識
公眾號 "讀位元組" 大資料（技術、架構、應用）的深度，專業解讀
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/270970.html
標籤：大數據