本文來源于公眾號【胖滾豬學編程】，轉載請注明出處，

從今天開始，想和你一起死磕ElasticSearch，學習分布式搜索引擎，跟著胖滾豬就對了！

既然是ES的第一課，那么最重要的是讓你愛上它！不想說那些單純的優勢、概念了，直接上大廠的生產案例，才是最能吸引你的！跟著大廠走，沒問題的！

為啥選擇ES?

一個技術服務組件，首先需要了解全面它的使用場景，才能更針對性的去研究及推廣，因此第一要務是搞懂為什么要學習ElasticSearch，開頭po先一張排行圖，大哥的地位可不是瞎搞來的，沒點實力能上位？憑這排名就是你要學習它的理由！

憑啥排這么前呢？不就是個搜索引擎嗎，額，也許提到Elasticseach，你第一反應就是"搜索引擎"，類似百度搜索、淘寶搜索那種，而我寫這篇文章就是為了糾正你這個"錯誤"的觀點，

Elasticseach 確實是做搜索引擎出家的，但是到現在已經進化成了一個全能型的資料產品，因此你的思維決不能限制在搜索引擎上，

本文通過一線大廠的八個案例，全方位讓你了解ElasticSearch的應用場景和優勢，包括：

日志實時分析
搜索服務
資料分析
資料監控
查詢服務
后端存盤

ElasticSearch在騰訊的應用

ElasticSearch在騰訊的應用非常廣泛，主要有三：日志實時分析場景、搜索服務、時序資料分析，

搜索服務：例如像騰訊檔案基于 ES 做全文檢索，電商客戶拼多多、蘑菇街等大量的商品搜索都是基于 ES，
日志分析：這個是 ES 應用最廣泛的領域，支持全堆疊的日志分析，包括各種應用日志、資料庫日志、用戶行為日志、網路資料、安全資料等等，ES 擁有一套完整的日志解決方案，可以秒級實作從采集到展示，
時序分析：典型的場景是監控資料分析，比如云監控，整個騰訊云的監控都是基于 ES 的，此外還包括物聯網場景，也有大量的時序資料，時序資料的特點是寫入吞吐量特別高，ES 支持的同時也提供了豐富的多維統計分析算子，

日志實時分析

典型日志如下：

運營日志，比如慢日志、例外日志，用來定位業務問題；
業務日志，比如用戶的點擊、訪問日志，可以用來分析用戶行為；
審計日志，可以用于安全分析，ES 很完美的解決了日志實時分析的需求，它具有如下特點：

Elastic 生態提供了完整的日志解決方案，任何一個開發、運維同學使用成熟組件，通過簡單部署，即可搭建起一個完整的日志實時分析服務，

在 Elastic 生態中，日志從產生到可訪問一般在 10s 級，相比于傳統大資料解決方案的幾十分鐘、小時級，時效性非常高，ES 擁有一套完整的日志解決方案（ELK），可以秒級實作從采集到展示，
由于支持倒排索引、列存盤等資料結構，ES 提供非常靈活的搜索分析能力，
支持互動式分析，即使在萬億級日志的情況下，ES 搜索回應時間也是秒級，

日志是互聯網行業最基礎、最廣泛的資料形式，ES 非常完美的解決了日志實時分析場景，這也是近幾年 ES 快速發展的一個重要原因

搜索服務

搜索服務，典型場景包含：商品搜索，類似京東、淘寶、拼多多中的商品搜索；APP 搜索，支持應用商店里的應用搜索；站內搜索，支持論壇、在線檔案等搜索功能，我們支持了大量搜索服務，它們主要有以下特點：

高性能：單個服務最大達到 10w+ QPS，平響 20ms~，P95 延時小于 100ms，
強相關：搜索體驗主要取決于搜索結果是否高度匹配用戶意圖，需要通過正確率、召回率等指標進行評估，
高可用：搜索場景通常要求高可用性，支持單機房故障容災，任何一個電商服務，如淘寶、京東、拼多多，只要故障一個小時就可以上頭條，

時序資料分析

時序資料分析，典型的時序資料包含：Metrics，即傳統的服務器監控；整個騰訊云的監控都是基于 ES 的，APM，應用性能監控；物聯網資料，智能硬體、工業物聯網等產生的傳感器資料，時序資料的特點是寫入吞吐量特別高，ES 支持的同時也提供了豐富的多維統計分析算子，這類場景具有以下特點：

高并發寫入：線上單集群最大規模達到 600+節點、1000w/s 的寫入吞吐，
高查詢性能：要求單條曲線或者單個時間線的查詢延時在 10ms~，
多維分析：要求靈活、多維度的統計分析能力，比如我們在查看監控的時候，可以按照地域、業務模塊等靈活的進行統計分析，

上面通過騰訊的案例我們了解了三大應用場景，

日志實時分析場景
搜索服務
時序資料分析

另外從這三大應用場景我們也可以歸納出ES的幾大優勢：

1、具有高可用性、高擴展性；

2、查詢速度快，性能佳；

3、搜索功能強大，高度匹配用戶意圖，

因此，可以看出，ES在日志實時分析和搜索方面的應用優勢簡直是無敵的！起碼目前，在這兩方面，還沒有強勁的對手！

ElasticSearch在京東的應用

通過京東的案例，聊一聊ES在查詢、檢索、資料分析方面的應用場景

由于較高的性能和較低的使用門檻，京東內部有很多的場景都在使用 Elasticsearch，覆寫了京東多條業務線，同時也覆寫了很多應用場景：

補充關系型資料庫的結構化資料查詢

主要應用的業務是商品、促銷、優惠券、訂單、收銀臺、物流、對賬、評論等大資料量查詢，此場景的核心訴求是高性能、穩定性和高可用性，部分場景會有檢索要求，通常用于加速關系型資料庫，業務系統通過 binlog 同步或業務雙寫完成資料同步，

全文檢索功能

主要的應用場景是應用、安全、風控、交易等操作日志，以及京東部分品類商品搜索，此類日志化場景對寫要求很高，查詢性能及高可用等要求相對較低，大的業務寫會達到數千萬 / 秒，存盤以 PB 為單位來計算，
這些場景對磁盤、記憶體有比較高的要求，因此，京東也做了相應優化，用于減少記憶體消耗，提升磁盤整體使用率，使用更廉價的磁盤來降低成本等等，

實時資料分析引擎，形成統計報表

主要應用的業務是物流單的各種分析、訂單資料分析、用戶畫像等，因為業務資料分析緯度較多，flink、storm 等流式分析對于某些報表場景不太適用，批處理實時性又成為問題，所以近實時分析的 Elasticsearch 就成為了這些業務的選擇，

從京東的案例中，我們似乎看到了，可以利用ES在某些場景下代替關系型資料庫哦！不僅如此，ES在實時資料分析領域，居然也有一席之地！

ElasticSearch在去哪兒的應用

通過去哪兒的案例，聊一聊ES在查詢方面的應用場景，可以簡單的理解為"代替"mysql，注意代替加了引號，閉著眼睛想都不可能完全代替，比如事務性，

15年去哪兒網酒店日均訂單量達到30w+，隨著多平臺訂單的聚合日均訂單能達到100w左右，

原來采用的熱表分庫方式，即將最近6個月的訂單的放置在一張表中，將歷史訂單放在在history表中，history表存盤全量的資料，當用戶查詢的下單時間跨度超過6個月即查詢歷史訂單表，此分表方式熱表的資料量為4000w左右，當時能解決的問題，但是顯然不能滿足攜程藝龍訂單接入的需求，

如果繼續按照熱表方式，資料量將超過1億條，全量資料表保存2年的可能就超過4億的資料量，所以尋找有效途徑解決此問題迫在眉睫，由于對這預計4億的資料量還需按照預定日期、入住日期、離店日期、訂單號、聯系人姓名、電話、酒店名稱、訂單狀態……等多個條件查詢，所以簡單按照某一個維度進行分表操作沒有意義，

顯然只通過DB來支撐大量的查詢是不可取的，同時對于一些復雜的查詢，Mysql支持得不夠友好，所以Elasticsearch分布式搜索儲存集群的引入，就是為了解決訂單資料的存盤與搜索的問題，

對訂單模型進行抽象和分類，將常用搜索欄位和基礎屬性欄位剝離，DB做分庫分表，存盤訂單詳情；Elasticsearch存盤搜素欄位，

訂單復雜查詢直接走Elasticsearch，基于OrderNo的簡單查詢走DB，如下圖所示，

從去哪兒的案例中，我們似乎看到了，關系型資料庫撐不起的復雜查詢，ES可以勝任，

總結

什么時候應該用ElasticSearch?

1、典型搜索場景：閉著眼用它！

2、典型日志分析場景：閉著眼用它！

3、關系型資料庫查詢有瓶頸：考慮下用它！為啥是考慮？ES的優點在于查詢，然而實踐證明，在被作為資料庫來使用，即寫完馬上查詢會有延遲，

4、資料分析場景：考慮下用它！為啥是考慮？簡單通用的場景需求可以大規模使用，但在特定業務場景領域，還是要選擇更加專業的資料產品，如復雜聚合，ClickHouse相比 Elasticserach 做億級別資料深度聚合需求會更加合適，

ElasticSearch有什么優勢呢？

1、很簡便的橫向擴容，分布式的架構，可以輕松地對資源進行橫向縱向擴縮容，可以滿足不同資料量級及查詢場景對硬體資源的需求，能由數百臺到萬臺機器搭建滿足PB級的快速搜索，也能搭建單機版服務小公司，

2、查詢速度快：ES底層采用Lucene作為搜索引擎，并在此之上做了多重優化，保證了用戶對資料查詢資料的需求，可"代替"傳統關系型資料庫，也可用于復雜資料分析，海量資料的近實時處理等，

3、相關性高：ES內部提供了完善的評分機制，會根據分詞出現的頻次等資訊對檔案進行相關性排序，保證相關性越高的檔案排序越靠前，另外還提供了包括模糊查詢，前綴查詢，通配符查詢等在內的多種查詢手段，幫助用戶快速高效地進行檢索，

4、功能點多但使用比較簡便，開箱即用，性能優化比較簡單

5、生態圈豐富，社區活躍，適配多種工具，如下圖，處理日志和輸出到Elasticsearch，您可以使用日志記錄工具，如Logstash（www.elastic.co/products/logstash），搜索和可視化界面分析這些日志，你可以使用Kibana（www.elastic.co/產品/ kibana），即傳說中的ELK技術堆疊，另外當前主流的大資料框架也幾乎都支持ES，比如Flink和ES就是個完美搭檔，