一.ELK（部署）
elasticsearch--->資料庫--->mysql
作用：對資料的存盤和檢索
logstash－－＞寫入資料php
從Web日志例采集和處理資料并存入E中
kibana-->nginx
從E中讀取資料并可視化展示 作用：分布式日志資料集中式查詢和管理，監控，故障排查，安全資訊和事件管理，報表功能． *******************************************************************
流量突然暴漲：
思路：
-通過Zabbix查看流量具體暴漲在哪里？
-確定哪個系統后再具體看某個系統的日志分析原因． 解決方法:
DDOS－＞流量清洗（找運營商）
*******************************************************************
Elasticksearch
特點：
-實時分析；
-分布式實時檔案存盤，并將每一個 ES與關系型資料庫的對比
１．
庫?-表? -行?-列
索引-型別-檔案-域（欄位） ２．
MySQL:使用SQL進行增刪改查
Es:使用http協議進行增刪改查
單機ES的部署(:9200,:9300)
環境準備＋安裝部署思路：
-主機名決議
-依賴包（Java開發的，所以要openjdk，最低Java7）
-安裝軟體包
-修改組態檔
-啟動服務
-檢查服務 集群配置（在單機基礎上，５臺）
-停服務
-修改配置：
cluster.name:???????#要完全一致
node.name:????????#本機主機名
network.host:0.0.0.0??????#監聽地址
discovery.zen.ping.unicast.hosts: [“es1”, “es2” , “es3”]
-各節點要相互ping通（主機名決議）
-都有java環境
-啟動服務 _cluster/health?pretty
ES插件的使用
-head插件
看集群拓撲,進行索引和節點級別的操作;
提供查詢API,并將結果以Json和表格形式回傳.
-kopf插件
-是ES的管理工具
-提供對ES集群操作的API
-bigdesk插件
-ES的一個集群監控工具
-可以通過它來查看ES集群的各種狀態.如:CPU,記憶體,使用情況,索引資料,搜索情況,http連接數等. RESTful API
http請求分三部分:
-請求行,訊息報頭,請求正文.
請求行以一個方法符號開頭,以空格分開,后面跟著請求的URI和協議版本,格式如下:
Method Request-URI HTTP-Version CRLF http請求方法:(1.1/8種;1.0/3種)
常用:GET,POST,HEAD
ES常用:
-PUT???增
-DELETE???刪
-POST???改
-GET???查 curl命令:
是利用URL規則,在命令列下作業的文本傳輸工具,支持多種請求模式,自定義請求頭等強大功能.
-A?修改請求agent
-X?設定請求方法
-i?顯示回傳頭資訊
RESTful API的簡單實用
_cat API下的資訊查看
health查詢集群狀態,節點資訊
curl http://es2:9200/_cat/health(?v)(?help)?#查看幫助
nodes 查看節點狀態資訊
curl http://es1:9200/_cat/nodes
indices 索引資訊
curl http://es3:9200/_cat/indices 用curl命令,呼叫RESTful API對elasticsearch作增刪改查
呼叫方式:資料庫地址/索引/型別/id值 #curl -d???#是POST HTTP資料的選項
-增:PUT
curl -XPUT ‘http://es1:9200/tedu/teacher/1’ -d
‘{“setting”: {“index”}: “number_of_shards”: 5 “number_of_replicas”: 1}’
-刪:DELETE
curl -XDELETE http://es1:9200/tedu/teacher/1
-改:POST
curl -XPOST http://es1:9200/tedu/teacher/1/_update ‘{doc:{“名字”: “柱子哥”}}’
-查:GET
curl -XGET http://es1:9200/tedu/teacher/1 _bulk批量匯入資料
curl -XPOST http://es1:9200/_bulk --data-binary @logs.jsonl 補充:
apache日志分析:
127.0.0.1 - - [10/Jan/2020:09:40:06 +0800] "GET / HTTP/1.1" 200 12 "-" "curl/7.29.0" 來源IP-E-mail-頁面用戶驗證的登錄名-時間-請求方式-訪問資源-請求的協議 -服務端回傳的狀態碼-回傳頁面大小 指明該請求是被哪個網頁提交過來-客戶端訪問工具
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/119200.html
標籤：圖象工具使用