作者：Medcl

轉自鏈接

Elasticsearch 的前世今生

Original Medcl 彈性搜索 2019-06-26

需求的誕生

劉備一大早就來到了公司，一看張飛和關羽已經在公司了，就問道：“兩位賢弟，今天來的還蠻早啊，”張飛一聽就炸毛了，“大哥，你讓我和二哥去做什么搜索功能，我們已經一晚沒睡了，昨天就沒回去好嘛，” 關羽也來氣，“大哥，是啊，我們剛剛才上線電商網站，你這邊又要加什么需求，現在用資料庫檢索不是好好的么，能不能讓我們歇口氣，”

“兩位兄弟辛苦了，我也不想啊，最近咱們一單生意都沒有啊，昨天我和一位朋友聊，他說我們的網站很不好用，找不到他想要的鞋，結果只好去別的地方買了，不過他給我推薦了一位黑客高手，叫諸葛亮的家伙，說是啥都得懂，我們今天找他取經去，”

三顧茅廬

三人一行來找諸葛亮，不過前面兩次都碰了壁，據諸葛亮書童說，諸葛亮不在家，到了第三次，還是不在家，張飛仔細一聽，明明是有人在家啊，而且玩游戲喊的聲音還這么大，張飛怒了，搭梯子把諸葛亮家的保險給拔了，諸葛亮正郁悶呢，咋停電了呢？算了，今天沒得玩了，于是讓書童請他們進來，

“在下諸葛名亮，字孔明，不知三位...”，三人一說，是這么這么回事，諸葛亮一聽，“哦，原來是這么這么回事啊，你們的網站我剛看了，你們家的草鞋品種確實不Nan少Kan，如今客戶上網站找東西，都是先用網站的搜索來搜一下，但是你們網站的搜索功能實在是太La弱Ji，明擺在那里的商品我都搜不出來，實在是大問題啊，”

“這樣啊，我看你們仨都是好人，給你們推薦一個好東西，叫做 Elasticsearch，這個肯定可以幫助你們，”

“翼德，把先生放下來吧，”

“是，大哥，二哥，你把刀也放下吧，”

關羽一聽，好像在哪里聽說過 Elasticsearch，“大哥，這個東西好像有點耳熟啊，哦，諸葛亮先生這一說，我倒是記起來了，隔壁公司的呂布最近神神秘秘的，好像就是在用這個，難怪他們最近公司業務好的很”，

Elasticsearch 的故事

諸葛亮清了清嗓子，又從抽屜里摸出一把扇子，“還是讓我來給你們講講吧”，

“Elasticsearch 以前叫 Elastic Search，顧名思義，就是“彈性的搜索”，很明顯，它一開始是圍繞著搜索功能，打造了一個分布式搜索引擎，底層是基于開源的搜索引擎庫 Lucene，是由 Java 語言撰寫的，專案大概是 2010 年 2 月份在 Github 正式落戶的，

咳咳，有必要首先給你介紹一下 Lucene，Lucene 是一個非常古老的搜索引擎工具包，也是用 Java 撰寫，主要用來構建倒排索引（一種資料結構）和對這些索引進行檢索，從而實作全文檢索功能，

Lucene 很強大，使用起來也非常靈活，缺點是它僅僅是一個基礎類別庫，也沒有考慮到高并發和分布式的場景，如果你想在自己的程式里面使用 Lucene，還是需要做很多作業，并且涉及很多搜索原理和索引資料結構的知識，這就給我們帶來了不少挑戰，所以，Lucene 的上手時間一般都比較長，”

關羽插了一句，“Lucene 我知道，確實賊難用，使用起來一堆問題啊，我之前試過來著，” 關羽說完，臉又紅了，

諸葛亮接著說，“時間一晃來到 2004 年，有一個以色列小伙子，名字叫謝伊·班農（ Shay Banon），他成親不久來到倫敦，因為當時他的夫人正好在倫敦學廚師，初來乍到，也沒有找到作業，于是班農就打算寫一個叫作 iCook 的小程式來管理和搜索菜譜，一來練練手，方便找作業；二來這個小工具還可以給其夫人用，

班農在撰寫 iCook 的程序中，使用了 Lucene，感受到了直接使用 Lucene 開發程式的各種暴擊和痛苦，于是他在 Lucene 之上，封裝了一個叫作 Compass 的程式框架，與 Hibernate 和 JPA 等 ORM 框架進行集成，通過操作物件的方式來自動地呼叫 Lucene 以構建索引，

這樣做的好處是，可以很方便地實作對‘領域物件’進行索引的創建，并實作‘欄位級別’的檢索，以及實作‘全文搜索’功能，可以說，Compass 大大簡化了給 Java 程式添加搜索功能的開發，Compass 開源出來，變得很流行，

在 Compass 撰寫到 2.x 版本的時候，社區里面出現了更多需求，比如需要有處理更多資料的能力以及分布式的設計，班農發現只有重寫 Compass ，才能更好地實作這些分布式搜索的需求，于是 Compass 3.0 就沒有了，取而代之的是一個全新的專案，也就是 Elasticsearch，”

讓人砰然心動的 Elasticsearch

看到劉備三人聽的入迷，諸葛亮輕揮羽扇，繼續說了下去，

“得益于 Compass 專案的積累，Elasticsearch 問世之初就考慮到了功能的易用性，

Elasticsearch 作為一個獨立的搜索服務器，提供了非常方便的搜索功能，用戶完全不用關心底層 Lucene 的細節，只需要通過標準的 Http+RESTful 風格的 API，就可以進行索引資料的增刪改查，資料的輸入輸出采用 JSON 格式，以檔案和面向物件的方式，這樣就能非常方便地理解和表達領域資料，”

張飛一拍桌子，“Elasticsearch 簡直就是一個 Compass 的 RESTful 實作啊！”

“沒錯，同時，Elasticsearch 基于分片和副本的方式實作了一個分布式的 Lucene Directory，再結合Map-reduce 的理念，實作了一個簡單的搜索請求分發合并的策略，能輕松化解海量索引和分布式高可用的問題，

可以說，僅僅依靠這兩點，Elasticsearch就已經秒殺了當時市面上所有的搜索引擎服務或是程式庫，我當時看到 Elasticsearch 也眼前一亮，

如今，Elasticsearch 基本上已經是搜索引擎市場排名第一的產品了，從 DB-Engines 網站的排名可以看到，Elasitcsearch 基本上是一騎絕紅塵，拉開第二名遠遠一大截，”

統計資料來源：https://db-engines.com/en/ranking/search+engine

ELK 橫空出世

諸葛亮口水狂飆，顯得很興奮，“如果只是Elasticsearch單獨使用，那我們的故事也就結束了，事實上好戲這才剛剛開始，俗話說，一個好漢三個幫，開源社區亦是如此，”

“這一個好漢三個幫，說的不就是咱仨嘛，” 劉備接過話茬，

“別打岔，”諸葛亮繼續說，“這里我要說的是 ‘ELK’ 的出現，不過首先我要給你們講講 Logstash，”

“Logstash 是一個開源的日志處理工具，用 JRuby 寫的，主要特點是基于靈活的 Pipeline 管道架構來處理資料，什么意思呢？可以理解為將資料放進一個管道內進行處理，并且就跟真正的自來水管一樣，管道由一截一截管子組成，每一個小管代表著一個資料處理的流程，每一個流程只做一件事情，然后可以根據資料的處理需要，選擇多個不同型別的管子靈活組裝，

Logstash 社區非常活躍，支持多種輸入資料源和多種輸出資料源，一開始， Elasticsearch 只是作為其中一個輸出的存盤，主要用于日志資料的存盤，

不過，隨著大家把日志發送到 Elasticsearch 之后，大家發現這家伙用起來很方便嘛，不僅能夠存盤大量的資料，水平伸碩訓很方便，更關鍵的是，你能夠很方便地把資料找出來，也就是進行全文搜索，

全文搜索在日志分析里面是非常基礎的一個功能，通過一個關鍵字就能定位具體的詳細日志，相比存放到關系型資料庫和普通的檔案存盤，Elasticsearch 優勢非常明顯，于是 Logstash 搭配 Elasticsearch 變得很受歡迎，

Kibana 的故事

不過 Logstash 自帶的 UI 查詢日志的界面有點簡陋，于是有一個叫作 Rashid Khan 的運維工程師表示完全忍不了了，用 PHP 寫了一個叫作 Kibana 的程式，一個更好看和更好用的前端界面，PHP 寫完一版，他又用 Ruby 寫一版，后面又用 AngularJS 寫了一版，不僅有日志的搜索和查看，還加上了一些統計展示功能，

Kibana 的名字其實是倆個水果的名字的組合（Kiwi+Banana），

張飛聽到這里：“作業不飽和啊這家伙”，孔明瞪了他一眼，繼續說道，

這個時候，Elasticsearch 已經有 Facet 概念，也就是分面統計（ 注：1.0 之后推出了 Aggregation 來代替 Facet），可以對資料里面的某個欄位進行單個維度的統計，支持多種統計型別，比如， TermFacet 可以計算欄位里面某些值出現了多少次；Histogram Facet 還可以按時間區間進行匯總統計等，這些統計功能在前端 UI 就可以被利用起來，展示一些餅圖、時間曲線等等，在運維的分析里面自然也都是需要的，慢慢的 Kibana 越做越復雜，支持的功能越來越多，Kibana 3 變得流行起來，

于是乎，ELK 橫空出世（Elasticsearch、Logstash 和 Kibana 這三個產品的首字母縮寫），風靡了整個運維界，

故事講到這里，相信你們對于 Elasticsearch 就有了一個大概的認識，可以用它做搜索，也可以用它做日志，”

張飛點點頭，“還是相當的強悍嘛，”

Elastic Stack 平臺的魅力

“不過，這還沒完，”諸葛亮吞了吞口水，繼續說，

“Elastic 后面又引入了 Beats 家族，這是一系列非常輕量級的資料收集端，我給你介紹幾個比較典型的，比如：

• Packetbeat 可以實時監聽網卡流量，并實時決議網路協議資料，可用來做 NPM 網路資料分析；

• Metricbeat 可以用來收集服務器，以及服務器上部署的應用服務的各項監控指標資料，這樣就可以替代 Zabbix 等傳統的監控軟體，來做服務器的性能指標分析；

• Auditbeat可以實時收集服務器的行為事件，用于安全方面的入侵檢測和安全日志審計分析；

• Winlogbeat用于 Windows 平臺的事件日志收集；

• Filebeat 用于日志檔案的收集等，

Elasticsearch、Logstash、Kibana、Beats ，這幾個放在一起，就叫作 Elastic Stack，

如今，Elastic 的版圖越來越大，前年，Elastic 收購 Opbeat，開源了業界第一個完整的 APM 解決方案，通過探針可以實作無侵入的代碼級別的應用性能監控；去年7月又收購了代碼搜索 Insight.IO，后續可以實作代碼級別的語意檢索，今年又收購了一個做終端安全的廠商 Endgame，這樣 Elastic Stack 這一個平臺就可以同時做到：

• 日志分析

• 性能指標分析

• 安全日志分析

• APM 應用性能分析

• NPM 網路性能分析

• 網站站內搜索

• 企業級搜索

• 代碼搜索

• 實時 BI 業務分析

• SIEM 解決方案

• 終端設備安全

• ......

試想一下：

在一個風和日麗的下午，你手機上收到一條告警短信，于是點擊鏈接，打開 Kibana 的監控儀表盤，發現某臺服務器的 CPU 達到 100% 了，

于是，你順手點擊過濾這臺服務器的所有相關資訊，可以看到相關的日志顯示，是這臺服務器上面部署的某一個業務服務的 QPS 有顯著下降，然后過濾到這個業務的日志，發現有很多例外的日志資訊，前端 Nginx 代理日志還顯示有很多請求被拒絕，看樣子是后端的微服務處理能力達到瓶頸，

這個時候，繼續點擊 APM 的分析面板，切換到事務和會話分析界面，看到有很多資料庫鏈接處于開啟狀態，你點擊查看呼叫代碼，立馬就找到了性能瓶頸的原因，原來是某個類的某個方法呼叫 MySQL 卻沒有及時釋放鏈接造成了泄露，于是修改這行代碼，提交上線，問題解決，然后，你可以若無其事地繼續瀏覽相親網站啦，

盡管這是一個假想的例子，但是可以看到，基于 Elastic Stack ，你可以覆寫一整套完整的，從全域性能監控到具體代碼級別的排障和解決問題的程序，并且使用起來要比很多現有的方案更加高效和便捷，

好了，現在你們是否對 Elasticsearch 已經有了一個初步的了解呢？是不是也有躍躍欲試的打算？”

劉備點點頭：“今天來先生這里真的是識訓不少，之前多有冒犯，還請多多包涵啊，”

關羽也說：“大哥，明天我就和三弟開始研究 Elasticsearch，爭取早日改造好咱們的網站，”

“剛說的相親網站要不也發我一下”，張飛連忙問道，劉備沒好氣白了一眼張飛，

“天色已晚，告辭了！”

劉備三人作別孔明，各自高興的回家了，

“慢走不送，有空來喝茶啊，”

孔明抹了一把額頭，總算送走這仨了，恐怕從此江湖上估計要不平靜嘍，