主頁 >  其他 > ElasticSearch

ElasticSearch

2022-01-25 07:25:08 其他

ElasticSearch

1. ElasticSerch簡介:

全文搜索屬于最常見的需求,開源的 Elasticsearch 是目前全文搜索引擎的首選, 它可以快速地儲存、搜索和分析海量資料,維基百科、Stack Overflow、Github 都采用它 Elastic 的底層是開源庫 Lucene,但是,你沒法直接用 Lucene,必須自己寫代碼去呼叫它的 介面,Elastic 是 Lucene 的封裝,提供了 REST API 的操作介面,開箱即用, REST API:天然的跨平臺,

官方檔案:https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

官方中文:https://www.elastic.co/guide/cn/elasticsearch/guide/current/foreword_id.html

社區中文: https://es.xiaoleilu.com/index.html http://doc.codingdict.com/elasticsearch/0

2. 相關概念

2.1 Index(索引)

動詞,相當于 MySQL 中的 insert; 名詞,相當于 MySQL 中的 Database

2.2 Type(型別)

在 Index(索引)中,可以定義一個或多個型別, 類似于 MySQL 中的 Table;每一種型別的資料放在一起;

2.3 Document(檔案)

保存在某個索引(Index)下,某種型別(Type)的一個資料(Document),檔案是 JSON 格 式的,Document t 就像是 MySQL 中的某個 Table 里面的內容,

2.4 倒排索引機制

倒排索引源于實際應用中需要根據屬性的值來查找記錄,lucene是基于倒排索引實作的,

簡單來說就是根據屬性值獲取索引值,

在這里插入圖片描述

3. 安裝

使用docker安裝,同時需要安裝ElasticSearch和Kibana兩個鏡像,

更多詳情請參考官方檔案,

ElasticSearch符合RestFul風格

4. 基本操作

參考相關檔案

就像是使用RestFul的風格用url操縱資料庫,

5. 結合JAVA使用

5.1 引入相關依賴

<dependency>
   <groupId>org.elasticsearch.client</groupId>
   <artifactId>elasticsearch-rest-high-level-client</artifactId>
   <version>7.4.2</version>
</dependency>

5.2 撰寫配置類

//排除引入common工程的資料源依賴
//@SpringBootApplication(exclude = DataSourceAutoConfiguration.class)
@Configuration
public class ElasticSearchConfig {
    @Bean
    public RestHighLevelClient restHighLevelClient() {
           RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                       new HttpHost("101.200.45.111", 9200, "http")));//需要填寫es所在服務器的域名以及埠號
             return client;
    }
}

5.3 創建索引(添加資料)

    //存盤資料到es(添加更新二合一)
    @Test
    public void addIndex() throws Exception{
        //(創建索引的請求指定索引名稱(users))
        IndexRequest indexRequest = new IndexRequest("users");
        //指定id
        indexRequest.id("1");
        //這種方法也可以 直接寫json字串
        // indexRequest.source("username","zhansan","age",18,"gender","男");
        User user =new User();
        user.setUsername("戰三");
        user.setGender("f");
        user.setAge(123);
        //將物件決議為JSON字串
        String s = JSON.toJSONString(user);
        indexRequest.source(s,XContentType.JSON);
        //保存后拿到回應結果
  IndexResponse index = restHighLevelClient.index(indexRequest,COMMON_OPTIONS);
        System.out.println(index);
    }
    @Data
    class User{
    private String username;
    private String gender;
    private Integer age;
    }

5.4 查詢

    @Test
    public void searchData() throws Exception {
        //1.創建索引請求
        SearchRequest searchRequest = new SearchRequest();
        //2.指定索引
        searchRequest.indices("xxx");
        //3.指定DSL 檢索條件
        //SearchSourceBuilder sourceBuilder(里面封裝的查詢條件)
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
        //3.1構建檢索條件
//        searchSourceBuilder.query();
//        searchSourceBuilder.from();
//        searchSourceBuilder.size();
//        searchSourceBuilder.aggregation();
        searchSourceBuilder.query(QueryBuilders.matchQuery("field", "xxx"));
        //創建聚合條件
        //1.查看值分布聚合
        TermsAggregationBuilder agg1 = AggregationBuilders.terms("Aggname").field("AggField").size(10);
        //將聚合條件加入到查詢條件中
        searchSourceBuilder.aggregation(agg1);
        searchRequest.source(searchSourceBuilder);
        //4.執行檢索 拿到資料
        SearchResponse searchResponse = restHighLevelClient.search(searchRequest, ElasticSearchConfig.COMMON_OPTIONS);
        //5.分析結果(Json串)
        //獲取所有查到的資料
       SearchHits hits = searchResponse.getHits();
       SearchHit[] searchHits = hits.getHits();
        for (SearchHit hit : searchHits) {
          String string = hit.getSourceAsString();
          XXClass xxClass =  JSON.parseObject(string,XXClass.class);
            System.out.println("xxClass"+xxClass);
        }
//    }
        //獲取檢索到的分析資訊
        Aggregations aggregations = searchResponse.getAggregations();
        Terms aggName = aggregations.get("AggName");
        for (Terms.Bucket bucket : aggName.getBuckets()) {
            String keyAsString = bucket.getKeyAsString();
            System.out.println("年齡"+keyAsString+bucket.getDocCount());
        }
    }

6. 結合業務使用

6.1 創建微服務gulimall-search

相關的組態檔:

application.properties

spring.cloud.nacos.discovery.server-addr=127.0.0.1:8848
spring.cloud.nacos.config.server-addr=127.0.0.1:8848
spring.application.name=gulimall-search

server.port=12000

6.2 撰寫配置類

@Configuration
public class GulimallElasticSearchConfig {

    //配置es請求OPTIONS
    public static final RequestOptions COMMON_OPTIONS;
    static {
        RequestOptions.Builder builder = RequestOptions.DEFAULT.toBuilder();

        COMMON_OPTIONS = builder.build();
    }

    //配置es連接
    @Bean
    RestHighLevelClient client() {
        RestClientBuilder builder = RestClient.builder(new HttpHost("192.168.190.131", 9200, "http"));
        return new RestHighLevelClient(builder);
    }
}

6.3 Controller層

@RequestMapping("/search")
@RestController
@Slf4j
public class ElasticSaveController {

    @Autowired
    ProductSaveService productSaveService;

    // 上架商品
    @PostMapping("/product")
    public R productStatusUp(@RequestBody List<SkuEsModel> skuEsModels) {
        boolean flag = false;
        try {
             flag = productSaveService.productStatusUp(skuEsModels);
        } catch (IOException e) {
            log.error("ElasticSaveController商品上架錯誤: {}", e);
            return R.error(BizCodeEnume.PRODUCT_UP_EXCEPTION.getCode(), BizCodeEnume.PRODUCT_UP_EXCEPTION.getMsg());
        }

        if (flag) {
            return R.ok();
        } else {
            return R.error(BizCodeEnume.PRODUCT_UP_EXCEPTION.getCode(), BizCodeEnume.PRODUCT_UP_EXCEPTION.getMsg());
        }

    }
}

6.4 Service層

注: 使用RestHighLevelClient進行操作

@Slf4j
@Service
public class ProductSaveServiceImpl implements ProductSaveService {

    @Autowired
    RestHighLevelClient restHighLevelClient;

    @Override
    public boolean productStatusUp(List<SkuEsModel> skuEsModels) throws IOException {
        // 保存到es中
        //1、給es中建立索引,product,建立好映射關系,
        //2、給es中保存這些資料
        //BulkRequest bulkRequest, RequestOptions options
        BulkRequest bulkRequest = new BulkRequest();
        for (SkuEsModel model : skuEsModels) {
            // 構造保存請求
            IndexRequest indexRequest = new IndexRequest(EsConstant.PRODUCT_INDEX);
            //指定資料id
            indexRequest.id(model.getSkuId().toString());
            //將要保存的資料物件轉換為JSON格式
            String s = JSON.toJSONString(model);
            //插入資料 并指明資料型別為JSON
            indexRequest.source(s, XContentType.JSON);
			//將保存請求(indexRequest)添加到批量保存請求中
            bulkRequest.add(indexRequest);
        }
        //創建批量執行物件
        //使用restHighLevelClient客戶端進行保存 拿到回應結果
        //兩個引數 第一個是批量保存的請求 第二個是請求OPTIONS
        BulkResponse bulk = restHighLevelClient.bulk(bulkRequest, GulimallElasticSearchConfig.COMMON_OPTIONS);

        //分析保存結果
        boolean b = bulk.hasFailures();
        List<String> collect = Arrays.stream(bulk.getItems()).map(item -> {
            return item.getId();
        }).collect(Collectors.toList());
        log.info("商品上架成功: {}", collect);
        //回傳布爾型別的資料,如果是true就是有錯誤了,回傳false就是沒有錯誤
        return b;
    }
}

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/420476.html

標籤:其他

上一篇:hive中多表full join主鍵重復問題

下一篇:返回列表

標籤雲
其他(135979) Python(24228) JavaScript(15073) Java(14739) C(11147) 區塊鏈(8215) AI(6935) 基礎類(6313) MySQL(5230) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4207) Linux(4118) PHP(3814) C#(3716) 爪哇(3561) html(3374) C語言(3288) C++語言(3117) sql(3024) R(2776) 熊猫(2774) Java相關(2746) 数组(2739) 疑難問題(2699) 反应(2482) 單片機工控(2479) css(2105) 数据框(1968) Web開發(1951) 节点.js(1938) VBA(1919) 網絡通信(1793) 蟒蛇-3.x(1774) 數據庫相關(1767) VB基礎類(1755) .NETCore(1671) ASP.NET(1650) 開發(1646) 系統維護與使用區(1617) C++(1582) 列表(1581) 基礎和管理(1579) json(1568) JavaEE(1566) 安卓(1523) HtmlCss(1519) 專題技術討論區(1515) Windows客戶端使用(1484) 扑(1469) iOS(1432) 查询(1408) .NET技术(1404) 打字稿(1376) Unity3D(1366) VCL組件開發及應用(1353) sql-server(1287) Qt(1283) 细绳(1226) HTML(CSS)(1220)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • ElasticSearch

    介紹了ElasticSearch的基本概念,以及相關使用,并結合專案中的業務進行了總結。...

    uj5u.com 2022-01-25 07:25:08 more
  • hive中多表full join主鍵重復問題

    目錄0. 其他1. 問題描述2. 問題復現2.1. 建表陳述句2.2. 插入資料2.3. 查詢SQL以及問題3. 問題原因4. 問題解決0. 其他1. 問題描述在Hive中(其他類似SQL,比如PostgreSQL可能也存在此問題),當對多張表(3張及以上)進行full join時,會存在每張表的主鍵都是唯一,但當full join后,會發現主鍵可能有重復。2. 問題復現2.1. 建表陳述句create table realtime_dw......

    uj5u.com 2022-01-25 07:24:53 more
  • RabbitMQ 超詳細入門篇

    RabbitMQ 入門篇????MQ 的基本概念:什么是 MQ ?MQ全稱為Message Queue即訊息佇列"訊息佇列" 是在訊息的傳輸程序中保存訊息的容器它是典型的:生產者————消費者模型生產者不斷向訊息佇列中生產訊息 ———————— 消費者不斷的從佇列中獲取訊息.這樣的好處: 生產者只需要關注發訊息,消費者只需要關注收訊息,二者沒有業務邏輯的侵入,這樣就實作了生產者和消費者的解耦.為什么要使用 MQ?或者說MQ 有什么好處,MQ 主要可以實作三種功能:服務解耦...

    uj5u.com 2022-01-25 07:23:56 more
  • 九章云極DataCanvas公司榮獲機器之心三大獎項,助力產業數智化升級

    近日,國內領先的前沿科技媒體和產業服務平臺機器之心發布了「AI 中國」機器之心 2021 年度榜單。九章云極DataCanvas公司憑借在人工智能領域優秀的技術、豐富的AI解決方案、智能化場景的創新應用以及適合國內市場的商業模式,入選 “最佳人工智能公司 TOP 30”、“最具商業價值解決方案TOP30”、“最具創新價值落地案例TOP30”。圖片來源:機器之心作為人工智能技術及產業發展的風向標,機器之心「AI中國」年度評選自2017年設立,已連續舉辦5屆,成為國內人工智能界的權威年度獎項之一。本次榜單...

    uj5u.com 2022-01-25 07:22:09 more
  • 2021—很有意義的一年

    最大的改變2021年,對于我來說,最大的改變應該就是有在努力想要提高自己的溝通能力。我的溝通能力和表達能力對于我來說,就是一個永遠搬不動的大山,擋在我前進的路上。其實,我知道自己的弱點,也想要改變,但是就是不付諸行動,也不知咋改變這種現狀。直到離開學校,開始步入社會,進入了一個完全陌生的圈子。很慶幸的是,遇到了一個特別好的導師,他給了我很多的幫助,給我提了很多建議,不管是作業上、生活上、還是人生發展,都是很寶貴的建議。由于我的性格,我有時候不敢在群里發言,導師經常鼓勵我要多在群上發言,這樣可以克服交流的...

    uj5u.com 2022-01-25 07:21:57 more
  • Centos7下安裝Jdk1.8

    Centos7下安裝Jdk1.8官網下載jdk-8u202-linux-x64.tar.gz下載后使用檔案傳輸工具SecureFX上傳服務器/opt/software目錄。(這里是在/opt/目錄下創建了software、module檔案夾)# 解壓包存放目錄$ mkdir -p /opt/module# 壓縮包存放目錄$ mkdir -p /opt/software查看當前linux是否裝有java$ java -version如果有則卸載原裝版本java#查看和ope...

    uj5u.com 2022-01-25 07:21:48 more
  • ByteV打造3D海上風電監控平臺 ——助力風電能源可持續發展

    ByteV自主研發了3D海上風電監控平臺有著豐富的組態化可供選擇,本文將介紹如何運用ByteV豐富的2D、3D組態搭建可視化解決方案。風電廠是指采用風力發電形式的電廠。風電廠在生產的程序中,風力發電的原理是比較簡單的。風能是可再生能源,同時也屬于清潔能源。隨著我國經濟技術的不斷提高,風電廠生產產業規模不斷擴大,并且數量也大幅度增加。通過風能發電不僅可以減少能源的消耗,同時也會減少發電程序對環境的污染。海上風電是可再生能源發展的重要領域,是推動風電技術進步以及產業升級的重要力量,是促進能源結構調整的重要...

    uj5u.com 2022-01-25 07:21:24 more
  • 第一次理事會會議內容摘要2022.1.23

    北京時間2022年1月23日星期日上午,DBC新年的第一次線上會議在Discord上圓滿召開。中國、美國、日本等理事代表都參與了會議。會議主要圍繞社區提案如何更好地獲得理事會的審核與通過展開,同時對Swap老鏈上DBC的方式進行了深入討論,核心內容總結如下:1.理事會的權利與義務是審核與批復對DBC生態有利的提案,代表社區合理規劃、運用國會資金使得生態健康發展——但目前的情況是,很多提案提交reddit后,因為網路限制和語言障礙等原因,很少得到國內理事的投票與關注。討論后提出的......

    uj5u.com 2022-01-25 07:20:38 more
  • 用戶畫像資料指標體系之其他常見標簽劃分

    趙宏田 老師的 用戶畫像·方法論與工程化解決方案 一書讀后筆記主要記錄的是該書中 用戶畫像之資料指標體系 一章...

    uj5u.com 2022-01-25 07:20:28 more
  • 用戶畫像資料指標體系之風險控制維度

    趙宏田 老師的 用戶畫像·方法論與工程化解決方案 一書讀后筆記主要記錄的是該書中 用戶畫像之資料指標體系 一章...

    uj5u.com 2022-01-25 07:20:16 more