之前的時候，我在自己的博客平臺寫過一些大概的ELK的內容，但是后面有粉絲在跟我聊天的程序中我發現有一個問題，就是很多人對于ELK的原理有誤解，所以導致在使用和實作效果上都會有一些誤差，尤其是一些在傳統行業的朋友，在這方面更是有如此，所以我花時間進行詳細的整理，但是處于篇幅的原因，我分兩篇文章寫這三個技術（附實踐代碼）希望對大家有所幫助

文章首發公眾號：Java架構師聯盟，每日更新技術好文

一、 ELK作業站簡介

隨著互聯網的發展，資料量的指數性增長，也標志著資料時代的到來，這個時候，不僅僅是業務能力強就可以，對于資料的處理速度和使用也成為衡量一個企業的標準之一，這個時候，各種大資料技術就由此產生，而這期間，也出現了相當多的技術框架，甚至這些技術框架除大資料之外也應用到傳統的專案開發中，就像今天說的ELK就是其中之一，

熬夜不睡覺整理ELK技術檔案，從此擺脫靠百度的作業（附原始碼）

可能剛接觸ELK的朋友會以為這是一門技術，但是其實不是，他是 Elasticsearch、Logstash、Kibana 三個開源軟體的組合，在實時資料檢索和分析場合被廣泛使用，但是，后來被Elastic公司所統一，因此有了ELK這個稱呼，就像NBA中OK、GDP組合一樣

而且ELK的興起除了時代的要求之外，也有他自己本身的特性存在，下面是官方提供的他的幾大特性：

處理方式靈活，

Elasticsearch 是實時全文索引，不需要像 storm 那樣預先編程才能使用；

配置簡易上手，

Elasticsearch 全部采用 JSON 介面，Logstash 是 Ruby DSL 設計，都是目前業界最通用的配置語法設計；

檢索性能高效，

雖然每次查詢都是實時計算，但是優秀的設計和實作基本可以達到全天資料查詢的秒級回應；

集群線性擴展，

不管是 Elasticsearch 集群還是 Logstash 集群都是可以線性擴展的；

前端操作炫麗，

Kibana 界面上，只需要點擊滑鼠，就可以完成搜索、聚合功能，生成炫麗的儀表板，

好了，開始看重點，當然是從最受歡迎的ES開始介紹了

二、 ElasticSearch索引服務安裝和使用

1．簡介

ElasticSearch是一個基于Lucene的搜索服務器，它提供了一個分布式多用戶能力的全文搜索引擎，基于RESTful web介面，Elasticsearch是用Java開發的，并作為Apache許可條款下的開放原始碼發布，是當前流行的企業級搜索引擎，設計用于云計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便，

我們建立一個網站或應用程式，并要添加搜索功能，令我們受打擊的是：搜索作業是很難的，我們希望我們的搜索解決方案要快，我們希望有一個零配置和一個完全免費的搜索模式，我們希望能夠簡單地使用JSON通過HTTP的索引資料，我們希望我們的搜索服務器始終可用，我們希望能夠一臺開始并擴展到數百，我們要實時搜索，我們要簡單的多租戶，我們希望建立一個云的解決方案，Elasticsearch旨在解決所有這些問題和更多的問題，

2． ES概念

cluster

代表一個集群，集群中有多個節點，其中有一個為主節點，這個主節點是可以通過選舉產生的，主從節點是對于集群內部來說的，es的一個概念就是去中心化，字面上理解就是無中心節點，這是對于集群外部來說的，因為從外部來看es集群，在邏輯上是個整體，你與任何一個節點的通信和與整個es集群通信是等價的，

shards

代表索引分片，es可以把一個完整的索引分成多個分片，這樣的好處是可以把一個大的索引拆分成多個，分布到不同的節點上，構成分布式搜索，分片的數量只能在索引創建前指定，并且索引創建后不能更改，

replicas

代表索引副本，es可以設定多個索引的副本，副本的作用一是提高系統的容錯性，當某個節點某個分片損壞或丟失時可以從副本中恢復，二是提高es的查詢效率，es會自動對搜索請求進行負載均衡，

recovery

代表資料恢復或叫資料重新分布，es在有節點加入或退出時會根據機器的負載對索引分片進行重新分配，掛掉的節點重新啟動時也會進行資料恢復，

river

代表es的一個資料源，也是其它存盤方式（如：資料庫）同步資料到es的一個方法，它是以插件方式存在的一個es服務，通過讀取river中的資料并把它索引到es中，官方的river有couchDB的，RabbitMQ的，Twitter的，Wikipedia的，

gateway

代表es索引快照的存盤方式，es默認是先把索引存放到記憶體中，當記憶體滿了時再持久化到本地硬碟，gateway對索引快照進行存盤，當這個es集群關閉再重新啟動時就會從gateway中讀取索引備份資料，es支持多種型別的gateway，有本地檔案系統（默認），分布式檔案系統，Hadoop的HDFS和amazon的s3云存盤服務，

discovery.zen

代表es的自動發現節點機制，es是一個基于p2p的系統，它先通過廣播尋找存在的節點，再通過多播協議來進行節點之間的通信，同時也支持點對點的互動，

Transport

代表es內部節點或集群與客戶端的互動方式，默認內部是使用tcp協議進行互動，同時它支持http協議（json格式）、thrift、servlet、memcached、zeroMQ等的傳輸協議（通過插件方式集成），

3．安裝

1、創建用戶

es啟動時需要使用非root用戶，所以創建一個用戶

2、安裝jdk（jdk要求1.8.20或1.7.55以上）

3、上傳es安裝包

 tar -zxvf elasticsearch-2.3.1.tar.gz -C /bigdata/

4、修改配置

vi /bigdata/elasticsearch-2.3.1/config/elasticsearch.yml
#集群名稱，通過組播的方式通信，通過名稱判斷屬于哪個集群
cluster.name: bigdata
#節點名稱，要唯一
node.name: es-1
#資料存放位置
path.data: /data/es/data
#日志存放位置
path.logs: /data/es/logs
#es系結的ip地址
network.host: 172.16.0.14
#初始化時可進行選舉的節點
discovery.zen.ping.unicast.hosts: ["node-4.bw.cn", "node-5.bw.cn", "node-6.bw.cn"]

5、使用scp拷貝到其他節點

scp -r elasticsearch-2.3.1/ node-5.bw.cn:$PWD
scp -r elasticsearch-2.3.1/ node-6.bw.cn:$PWD

6、在其他節點上修改es配置，需要修改的有node.name和network.host

7、啟動es（/bigdata/elasticsearch-2.3.1/bin/elasticsearch -h查看幫助檔案）

/bigdata/elasticsearch-2.3.1/bin/elasticsearch –d

8、用瀏覽器訪問es所在機器的9200埠

http://172.16.0.14:9200/
{
  "name" : "es-1",
  "cluster_name" : "bigdata",
  "version" : {
    "number" : "2.3.1",
    "build_hash" : "bd980929010aef404e7cb0843e61d0665269fc39",
    "build_timestamp" : "2016-04-04T12:25:05Z",
    "build_snapshot" : false,
    "lucene_version" : "5.5.0"
  },
  "tagline" : "You Know, for Search"
}

取行程號并殺死對應行程

kill ps -ef | grep Elasticsearch | grep -v grep | awk '{print $2}'

4． es安裝插件下載es插件

/bigdata/elasticsearch-2.3.1/bin/plugin install mobz/elasticsearch-head
 
#本地方式安裝head插件
./plugin install file:///home/bigdata/elasticsearch-head-master.zip
 
#訪問head管理頁面
http://172.16.0.14:9200/_plugin/head

5． es的RESTful介面操作

RESTful介面URL的格式：

http://localhost:9200/<index>/<type>/[<id>]

其中index、type是必須提供的，

id是可選的，不提供es會自動生成，

index、type將資訊進行分層，利于管理，

index可以理解為資料庫；type理解為資料表；id相當于資料庫表中記錄的主鍵，是唯一的，

這里我用自己專案中的代碼跟大家進行展示這個地方是如何實作的，大家可以作為參考在自己的pc端進行實踐，搭建幾臺簡單點的虛擬機即可

熬夜不睡覺整理ELK技術檔案，從此擺脫靠百度的作業（附原始碼）

我的是3臺機器，每臺2G+20G的資源配置（你的資源夠大的話也可以調整的大一些）

#向store索引中添加一些書籍
curl -XPUT 'http://172.16.0.14:9200/store/books/1' -d '{
  "title": "Elasticsearch: The Definitive Guide",
  "name" : {
    "first" : "Zachary",
    "last" : "Tong"
  },
  "publish_date":"2015-02-06",
  "price":"49.99"
}'
 
#通過瀏覽器查詢
http://172.16.0.14:9200/store/books/1
 
#在linux中通過curl的方式查詢
curl -XGET 'http://172.16.0.14:9200/store/books/1'
 
#再添加一個書的資訊
curl -XPUT 'http://172.16.0.14:9200/store/books/2' -d '{
  "title": "Elasticsearch Blueprints",
  "name" : {
    "first" : "Vineeth",
    "last" : "Mohan"
  },
  "publish_date":"2015-06-06",
  "price":"35.99"
}'
 
 
# 通過ID獲得檔案資訊
curl -XGET 'http://172.16.0.14:9200/bookstore/books/1'
 
#在瀏覽器中查看
http://172.16.0.14:9200/bookstore/books/1
 
# 通過_source獲取指定的欄位
curl -XGET 'http://172.16.0.14:9200/store/books/1?_source=title'
curl -XGET 'http://172.16.0.14:9200/store/books/1?_source=title,price'
curl -XGET 'http://172.16.0.14:9200/store/books/1?_source'
 
#可以通過覆寫的方式更新
curl -XPUT 'http://172.16.0.14:9200/store/books/1' -d '{
  "title": "Elasticsearch: The Definitive Guide",
  "name" : {
    "first" : "Zachary",
    "last" : "Tong"
  },
  "publish_date":"2016-02-06",
  "price":"99.99"
}'
 
# 或者通過 _update  API的方式單獨更新你想要更新的
curl -XPOST 'http://172.16.0.14:9200/store/books/1/_update' -d '{
  "doc": {
     "price" : 88.88
  }
}'
 
curl -XGET 'http://172.16.0.14:9200/store/books/1'
 
#洗掉一個檔案
curl -XDELETE 'http://172.16.0.14:9200/store/books/1'
 
 
# 最簡單filter查詢
# SELECT * FROM books WHERE price = 35.99
# filtered 查詢價格是35.99的
curl -XGET 'http://172.16.0.14:9200/store/books/_search' -d '{
    "query" : {
        "filtered" : {
            "query" : {
                "match_all" : {}
            },
            "filter" : {
                "term" : {
                    "price" : 35.99
                  }
              }
        }
    }
}'
 
#指定多個值
curl -XGET 'http://172.16.0.14:9200/store/books/_search' -d '{
    "query" : {
        "filtered" : {
            "filter" : {
                "terms" : {
                    "price" : [35.99, 88.88]
                  }
              }
        }
    }
}'
 
 
# SELECT * FROM books WHERE publish_date = "2015-02-06"
curl -XGET 'http://172.16.0.14:9200/store/books/_search' -d '{
  "query" : {
    "filtered" : {
        "filter" : {
           "term" : {
              "publish_date" : "2015-02-06"
            }
          }
      }
  }
}'
 
 
 
# bool過濾查詢，可以做組合過濾查詢
# SELECT * FROM books WHERE (price = 35.99 OR price = 99.99) AND (publish_date != "2016-02-06")
# 類似的，Elasticsearch也有 and, or, not這樣的組合條件的查詢方式
# 格式如下：
#  {
#    "bool" : {
#    "must" :     [],
#    "should" :   [],
#    "must_not" : [],
#    }
#  }
#
# must: 條件必須滿足，相當于 and
# should: 條件可以滿足也可以不滿足，相當于 or
# must_not: 條件不需要滿足，相當于 not
 
curl -XGET 'http://172.16.0.14:9200/bookstore/books/_search' -d '{
  "query" : {
    "filtered" : {
      "filter" : {
        "bool" : {
          "should" : [
            { "term" : {"price" : 35.99}},
            { "term" : {"price" : 99.99}}
          ],
  "must_not" : {
            "term" : {"publish_date" : "2016-02-06"}
          }
        }
      }
    }
  }
}'
 
 
# 嵌套查詢
# SELECT * FROM books WHERE price = 35.99 OR ( publish_date = "2016-02-06" AND price = 99.99 )
 
curl -XGET 'http://172.16.0.14:9200/bookstore/books/_search' -d '{
  "query" : {
    "filtered" : {
      "filter" : {
        "bool" : {
          "should" : [
              { "term" : {"price" : 35.99}},
              { "bool" : {
              "must" : [
                {"term" : {"publish_date" : "2016-02-06"}},
                {"term" : {"price" : 99.99}}
              ]
            }}
          ]
        }
      }
    }
  }
}'
 
# range范圍過濾
# SELECT * FROM books WHERE price >= 20 AND price < 100
# gt :  > 大于
# lt :  < 小于
# gte :  >= 大于等于
# lte :  <= 小于等于
 
curl -XGET 'http://172.16.0.14:9200/store/books/_search' -d '{
  "query" : {
    "filtered" : {
      "filter" : {
        "range" : {
          "price" : {
            "gt" : 20.0,
            "lt" : 100
          }
        }
      }
    }
  }
}'
 
 
# 另外一種 and， or， not查詢
# 沒有bool, 直接使用and , or , not
# 注意: 不帶bool的這種查詢不能利用快取
# 查詢價格既是35.99，publish_date又為"2015-02-06"的結果
curl -XGET 'http://172.16.0.14:9200/bookstore/books/_search' -d '{
  "query": {
    "filtered": {
      "filter": {
        "and": [
        {
          "term": {
            "price":59.99
          }
        },
        {
          "term": {
            "publish_date":"2015-02-06"
          }
        }
       ]
     },
     "query": {
      "match_all": {}
      }
    }
  }
}'

剛好講到這里，那這里我提前引入Logstash的內容，Logstash的作用就是資料收集工具，收集來自不同地方的資訊，既然ELK是一個組合，那我們來看一下LogStash是如何讀取檔案到es中的，后面我會用單獨的一篇文章詳細的講解LogStash原理以及如何讀取原理的

6． Logstash讀取file寫入es

input {
  file {
    path => "/var/nginx_logs/*.log"
    codec => "json"
    discover_interval => 5
    start_position => "beginning"
  }
}
 
output {
    elasticsearch {
      index => "flow-%{+YYYY.MM.dd}"
      hosts => ["172.16.0.14:9200", "172.16.0.15:9200", "172.16.0.16:9200"]
    }
}

7． Logstash+kafka+es

當資料讀取進來之后，因為資料源的不同，導致產生的資料型別和內容也不同，那這個時候，能夠更好的進行分類，然后對應的傳輸到不同的位置進行處理的話相應的會好很多，那這個時候，kafka就起到了巨大的作用，那這個地方如何進行傳輸分類的呢？我們看一下

input {
  kafka {
    type => "accesslogs"
    codec => "plain"
    auto_offset_reset => "smallest"
    group_id => "elas1"
    topic_id => "accesslogs"
    zk_connect => "172.16.0.11:2181,172.16.0.12:2181,172.16.0.13:2181"
  }
 
  kafka {
    type => "gamelogs"
    auto_offset_reset => "smallest"
    codec => "plain"
    group_id => "elas2"
    topic_id => "gamelogs"
    zk_connect => "172.16.0.11:2181,172.16.0.12:2181,172.16.0.13:2181"
  }
}
 
filter {
  if [type] == "accesslogs" {
    json {
      source => "message"
  remove_field => [ "message" ]
  target => "access"
    }
  }
 
  if [type] == "gamelogs" {
    mutate {
      split => { "message" => " " }
      add_field => {
        "event_type" => "%{message[3]}"
        "current_map" => "%{message[4]}"
        "current_X" => "%{message[5]}"
        "current_y" => "%{message[6]}"
        "user" => "%{message[7]}"
        "item" => "%{message[8]}"
        "item_id" => "%{message[9]}"
        "current_time" => "%{message[12]}"
     }
     remove_field => [ "message" ]
   }
  }
}
 
output {
 
  if [type] == "accesslogs" {
    elasticsearch {
      index => "accesslogs"
  codec => "json"
      hosts => ["172.16.0.14:9200", "172.16.0.15:9200", "172.16.0.16:9200"]
    }
  }
 
  if [type] == "gamelogs" {
    elasticsearch {
      index => "gamelogs"
      codec => plain {
        charset => "UTF-16BE"
      }
      hosts => ["172.16.0.14:9200", "172.16.0.15:9200", "172.16.0.16:9200"]
    }
  }
}

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/232267.html

標籤：Java

上一篇：Github出暗黑模式了,加班寫代碼不再刺眼啦!

下一篇：Nginx 轉發時的一個坑，運維居然讓我背鍋！！

熬夜不睡覺整理ELK技術檔案，從此擺脫靠百度的作業（附原始碼）

一、 ELK作業站簡介

二、 ElasticSearch索引服務安裝和使用

1． 簡介

2． ES概念

3． 安裝

4． es安裝插件下載es插件

5． es的RESTful介面操作

6． Logstash讀取file寫入es

7． Logstash+kafka+es

1．簡介

3．安裝