Elasticsearch資料庫 | Elasticsearch-7.5.0應用基礎實戰

Elasticsearch 是一個可用于分布式以及符合RESTful 風格的搜索和資料分析引擎，—— Elastic Stack 官網

關于Elasticsearch的“愛恨情仇"

• 或許提起搜索服務器,大部分人都會想起Solr 和 Elasticsearch 甚至以及國產大廠自研等，隨著人工智能和大資料時代的到來，甚至還帶動了一系列的機器引擎的出現，譬如Splunk等，其中Solr 和 Elasticsearch是基于Lucene的搜索服務器，一般Solr是面向的是全文檢索引擎，而Elasticsearch是用于全文搜索、結構化搜索、分析，而對于Splunk機器資料的引擎，可收集、索引和利用所有應用程式、服務器和設備生成的快速移動型計算機資料，可是不論技術如何發展和更替，作為一位程式員，我們要做的不就是即時地維護技術儲備知識庫和實時更新自己的技術快取，以及實作可擴展性的技術深度樹的增長，
• 關于Elasticsearch，記得當時接觸到Elasticsearch的名詞的時候，那是2017年的夏天，當時的作業任務是實作一個關于知識庫的系統，當時小伙伴們技術選型主要還是偏向Solr+Lucene來的做，有的甚至說直接使用Mysql資料庫的自帶函式來做，我是在無意中，在網上查詢搜索引擎的技術實戰的時候,看見了一篇對于Elasticsearch應用實戰的應用報告分析，才去查詢了Elasticsearch的相關資料，不過，當時網上大部分對于搜索功能的Demo，大部分還是關于Solr 的比較多，也許在那個時候，大部分的技術概念基本都是偏向于技術長期穩定和檔案資料全，使用程度相對較重的因素，但是，我個人卻留了一個心眼，自己嘗試去實戰Elasticsearch，
• 第一次，動手實操還是在Windows本機上安裝(22G記憶體)的，其中，安裝程序相比利用Tomcat+Solr來說，相對較復雜，而且對于本機的記憶體和功耗占用較重，個開發基本只能說是能運行起來，可穩定性方面，就有點顯得望而卻步的感覺，第二次，動手實戰是在本機搭建了一個虛擬機去實戰(2核8G)，可在網路通信方面，當時選的是網路橋接方式，也讓我對此覺得很是麻煩，第三次，是自己擁有了自己的阿里云服務器，在上面按照傳統部署方式(相對于Docker部署來說)，可無奈個人服務器記憶體較低(2核4G)，修改配置JVM等無法啟動成功，總是拋出GC日志什么的問題，主要還是當時囊中羞澀的問題，甚至一旦運行Elasticsearch服務，其它的應用便無法啟動和 運行，后來，接觸了Docker，于是，有了第四次的Elasticsearch實戰（單節點部署），第四次，升級了阿里云服務器的配置(2核8G)，最終實作了額自己的第一個Elasticsearch服務，甚至，為在后來作業中，動手實戰Elasticsearch分布式集群服務奠定基礎，

基本概述

• 似乎從某種意義來說Elasticsearch和MongoDB/Redis/Memcache一樣，是一種Nosql資料庫，是一個接近實時的搜索平臺，從索引這個檔案到這個檔案能夠被搜索到只有一個輕微的延遲，企業應用定位：采用Restful API標準的可擴展和高可用的實時資料分析的全文搜索工具，不過在當時，Elastic Stack只有Elasticsearch、Kibana 和 Logstash用例，還沒有包含Beats等，而且在應用方面，除了來當作ELK分布式日志系統搭建外，更多的是Elasticsearch +Elasticsearch-Head插件在滿足業務場景方面的需求，能夠安全可靠地獲取任何來源、任何格式的資料，然后實時地對資料進行搜索、分析和可視化等，
• 基本特點：

1. 可拓展：支持一主多從且擴容簡易，只要cluster.name一致且在同一個網路中就能自動加入當前集群；本身就是開源軟體，也支持很多開源的第三方插件
2. 高可用：在一個集群的多個節點中進行分布式存盤，索引支持shards和復制，即使部分節點down掉，也能自動進行資料恢復和主從切換
3. 采用RestfulAPI標準：通過http介面使用JSON格式進行操作資料
4. 資料存盤的最小單位是檔案，本質上是一個JSON 文本

Elasticsearch關鍵詞

• Node : 節點，單個裝有Elasticsearch服務并且提供故障轉移和實作可擴展的服務器
• Cluster : 集群，一個Elasticsearch-Cluster集群是有一個Node或者至少2個Node組成的服務器，共同服務和分享Node節點資料的具有負載均衡的功能，甚至基于Zookeeper集群的高可用服務等，
• Index : 索引,具有相同或者相似特征的Document檔案物件的集合
• Type : 型別，相同Filed欄位的檔案定義一個Type型別，一個Type可以創建多個Index索引
• Document ：檔案，一個Document檔案可以被用作Index索引的基礎資訊單元
• Field : 欄位列，Field是Elasticsearch的最小單元，相擋當于資料的某一列
• Term：由很多的位元組組成，一般將Text型別的Field Value分詞之后的每個最小單元叫做Term，
• Shards ：分片，Elasticsearch把Index索引分成若干份，每一個部分就是一個Shard分片
• Replicas ： 復制，每個Inex索引里每個Shard分片的拷貝或者說是資料備份

Elasticsearch 結構與其它資料庫對比

• 資料模型上的對比

• 使用場景上的對比

ps[??注意事項]：

1. OLTP： OnLine Transaction Processing聯機事務處理程序(OLTP)，主要對應傳統的關系型資料庫，基本操作增刪改查，強調事務一致性，比如銀行系統、電商系統，
2. OLAP：Online Analytical processing 即聯機分析處理程序(OLAP),主要對應倉儲型資料庫，基本讀取資料，做復雜資料分析，側重技術決策支持，提供直觀簡單的結果，

Elasticsearch原理剖析

• Gateway[索引資料的存盤格式]: Elasticsearch用來存盤資料index索引的檔案系統,支持多種型別[ Local FileSystem-本地檔案系統 Shared FileSystem-分布式檔案系統 Hadoop HDFS, Amazon S3 ]
• Distributed Lucene Directory[底層 API框架]：Elasticsearch底層依賴Lucene框架,每一個Elasticsearch節點服務都會有對應的Lucene框架
• Major Module[加工處理方式] : 在Lucene上層，Index Module（創建Index模塊）、Search Module（搜索模塊）、Mapping（映射）、River（運行在Elasticsearch集群內部的一個插件，主要用來從外部獲取獲取異構資料，然后在Elasticsearch里創建索引
• Discovery[Elasticsearch發現機制]：Discovery 是Elasticsearch自動發現節點的機制；Zen是用來實作節點自動發現、Master節點選舉用；Elasticsearch是基于P2P的系統，它首先通過廣播的機制尋找存在的節點，然后再通過多播協議來進行節點間的通信，同時也支持點對點的互動
• Scripting[Elasticsearch腳本執行功能]：Scripting 是腳本執行功能，有這個功能能很方便對查詢出來的資料進行加工處理
• Plugins[Elasticsearch插件機制]：Elasticsearch整合第三方的插件的主要實作拓展和整合等，譬如elasticsearch-ik分詞插件、elasticsearch-sql sql插件，
• Transport[Elasticsearch傳輸機制]： 傳輸模塊支持 Thrift, Memcached , HTTP,默認使用 HTTP 傳輸
• JMX[Elasticsearch基于Java的管理框架]:Java 的管理框架，用來管理 Elasticsearch 應用
• RSTful Style API [Elasticsearch的API支持模式]：基于Netty實作的網路通信，通過RSTful API 和 Elasticsearch 集群進行互動

資料結構

著作權宣告：本文為博主原創文章，遵循相關著作權協議，如若轉載或者分享請附上原文出處鏈接和鏈接來源，

標籤：其他

上一篇：Java設計模式之003--工廠模式

下一篇：Java 在線考試系統專案原始碼 springboot mybaits vue.js 前后分離跨域