使用Lucene.Net做一個簡單的搜索引擎-全文索引-有解無憂

Lucene.Net

Lucene.net是Lucene的.net移植版本，是一個開源的全文檢索引擎開發包，即它不是一個完整的全文檢索引擎，而是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎，

Lucene.net是Apache軟體基金會贊助的開源專案，基于Apache License協議，

Lucene.net并不是一個爬行搜索引擎，也不會自動地索引內容，我們得先將要索引的檔案中的文本抽取出來，然后再將其加到Lucene.net索引中，標準的步驟是先初始化一個Analyzer、打開一個IndexWriter、然后再將檔案一個接一個地加進去，一旦完成這些步驟，索引就可以在關閉前得到優化，同時所做的改變也會生效，這個程序可能比開發者習慣的方式更加手工化一些，但卻在資料的索引上給予你更多的靈活性，而且其效率也很高，

官網：http://lucenenet.apache.org/

GitHub: https://github.com/apache/lucenenet

添加nuget包參考

首先我們要在專案中參考Lucene.Net的相關參考，不同的語言要使用的分析器（Analyzer）是不一樣的，這里我們使用Lucene.Net.Analysis.SmartCn來做示例，用于分析中文，當前Lucene.Net.Analysis.SmartCn包還未發布正式版，所以搜索時要勾選“包括預發行版本”：

IndexWriter

IndexWriter用于將檔案索引起來，它會使用對應的分析器（Analyzer）來將檔案中的文字進行拆分索引并且將索引存到Index_Data目錄：

static IndexWriter GetIndexWriter()
{
    var dir = FSDirectory.Open("Index_Data");
    Analyzer analyzer = new SmartChineseAnalyzer(LuceneVersion.LUCENE_48);
    var indexConfig = new IndexWriterConfig(LuceneVersion.LUCENE_48, analyzer);
    IndexWriter writer = new IndexWriter(dir, indexConfig);
    return writer;
}

有了IndexWriter，我們就可以將檔案索引進來了：

static void WriteDocument(string url, string title, string keywords, string description)
{
    using (var writer = GetIndexWriter())
    {
        writer.DeleteDocuments(new Term("url", url));

        Document doc = new Document();
        doc.Add(new StringField("url", url, Field.Store.YES));

        TextField titleField = new TextField("title", title, Field.Store.YES);
        titleField.Boost = 3F;

        TextField keywordField = new TextField("keyword", keywords, Field.Store.YES);
        keywordField.Boost = 2F;

        TextField descriptionField = new TextField("description", description, Field.Store.YES);
        descriptionField.Boost = 1F;

        doc.Add(titleField);
        doc.Add(keywordField);
        doc.Add(descriptionField);
        writer.AddDocument(doc);
        writer.Flush(triggerMerge: true, applyAllDeletes: true);
        writer.Commit();
    }
}

對代碼做一些簡單的說明，在實體化一個Document后，需要在Document里面添加一些欄位：

StringField：將該欄位索引，但不會做語意拆分
TextField：索引器會對該欄位進行拆分后再索引
Boost：即權重，比如標題（3F）和關鍵字（2F）都匹配的話，以標題為優先排在前面

現在我們已經可以將檔案索引起來了，我們將索引一個頁面：

WriteDocument("https://www.zkea.net/index", 
            "紙殼CMS開源免費可視化設計內容管理系統", 
            "紙殼CMS，ZKEACMS，可視化設計，可視化CMS", 
            "紙殼CMS（ZKEACMS）是開源的建站系統，您可以直接使用它來做為您的企業網站，門戶網站或者個人網站，博客");

Index_Data目錄將會生成一些索引檔案：

有了索引，接下來要做的就是搜索了，

IndexSearcher

因為用戶在搜索的時候并不單單只輸入關鍵字，很可能輸入的是詞、句，所以在搜索之前，我們還要對搜索陳述句進行分析，拆解出里面的關鍵詞后再進行搜索，

static List<string> GetKeyWords(string q)
{
    List<string> keyworkds = new List<string>();
    Analyzer analyzer = new SmartChineseAnalyzer(LuceneVersion.LUCENE_48);
    using (var ts = analyzer.GetTokenStream(null, q))
    {
        ts.Reset();
        var ct = ts.GetAttribute<Lucene.Net.Analysis.TokenAttributes.ICharTermAttribute>();

        while (ts.IncrementToken())
        {
            StringBuilder keyword = new StringBuilder();
            for (int i = 0; i < ct.Length; i++)
            {
                keyword.Append(ct.Buffer[i]);
            }
            string item = keyword.ToString();
            if (!keyworkds.Contains(item))
            {
                keyworkds.Add(item);
            }
        }
    }
    return keyworkds;
}

拆分好用戶輸入的詞句后，接下來使用IndexSearcher并使用組合條件進行搜索：

static void Search(string q)
{
    IndexReader reader = DirectoryReader.Open(FSDirectory.Open("Index_Data"));
    
    var searcher = new IndexSearcher(reader);
    
    var keyWordQuery = new BooleanQuery();
    foreach (var item in GetKeyWords(q))
    {
        keyWordQuery.Add(new TermQuery(new Term("title", item)), Occur.SHOULD);
        keyWordQuery.Add(new TermQuery(new Term("keyword", item)), Occur.SHOULD);
        keyWordQuery.Add(new TermQuery(new Term("description", item)), Occur.SHOULD);
    }
    var hits = searcher.Search(keyWordQuery, 200).ScoreDocs;

    foreach (var hit in hits)
    {
        var document = searcher.Doc(hit.Doc);
        Console.WriteLine("Url:{0}", document.Get("url"));
        Console.WriteLine("Title:{0}", document.Get("title"));
        Console.WriteLine("Keyword:{0}", document.Get("keyword"));
        Console.WriteLine("Description:{0}", document.Get("description"));
    }
}

接下來我們來試著搜索一下：

完整代碼

這里只是一個簡單的示例，有關于更多，可以查看Lucene.Net的官方檔案，

using Lucene.Net.Analysis;
using Lucene.Net.Analysis.Cn.Smart;
using Lucene.Net.Documents;
using Lucene.Net.Index;
using Lucene.Net.Search;
using Lucene.Net.Store;
using Lucene.Net.Util;
using System;
using System.Collections.Generic;
using System.Text;

namespace ConsoleApp
{
    class Program
    {
        static void Main(string[] args)
        {
            WriteDocument("https://www.zkea.net/index", 
                "紙殼CMS開源免費可視化設計內容管理系統", 
                "紙殼CMS，ZKEACMS，可視化設計，可視化CMS", 
                "紙殼CMS（ZKEACMS）是開源的建站系統，您可以直接使用它來做為您的企業網站，門戶網站或者個人網站，博客");

            Search("可視化CMS");
        }
        static void WriteDocument(string url, string title, string keywords, string description)
        {
            using (var writer = GetIndexWriter())
            {
                writer.DeleteDocuments(new Term("url", url));

                Document doc = new Document();
                doc.Add(new StringField("url", url, Field.Store.YES));

                TextField titleField = new TextField("title", title, Field.Store.YES);
                titleField.Boost = 3F;

                TextField keywordField = new TextField("keyword", keywords, Field.Store.YES);
                keywordField.Boost = 2F;

                TextField descriptionField = new TextField("description", description, Field.Store.YES);
                descriptionField.Boost = 1F;

                doc.Add(titleField);
                doc.Add(keywordField);
                doc.Add(descriptionField);
                writer.AddDocument(doc);
                writer.Flush(triggerMerge: true, applyAllDeletes: true);
                writer.Commit();
            }
        }
        static IndexWriter GetIndexWriter()
        {
            var dir = FSDirectory.Open("Index_Data");
            Analyzer analyzer = new SmartChineseAnalyzer(LuceneVersion.LUCENE_48);
            var indexConfig = new IndexWriterConfig(LuceneVersion.LUCENE_48, analyzer);
            IndexWriter writer = new IndexWriter(dir, indexConfig);
            return writer;
        }

        static List<string> GetKeyWords(string q)
        {
            List<string> keyworkds = new List<string>();
            Analyzer analyzer = new SmartChineseAnalyzer(LuceneVersion.LUCENE_48);
            using (var ts = analyzer.GetTokenStream(null, q))
            {
                ts.Reset();
                var ct = ts.GetAttribute<Lucene.Net.Analysis.TokenAttributes.ICharTermAttribute>();

                while (ts.IncrementToken())
                {
                    StringBuilder keyword = new StringBuilder();
                    for (int i = 0; i < ct.Length; i++)
                    {
                        keyword.Append(ct.Buffer[i]);
                    }
                    string item = keyword.ToString();
                    if (!keyworkds.Contains(item))
                    {
                        keyworkds.Add(item);
                    }
                }
            }
            return keyworkds;
        }
        static void Search(string q)
        {
            IndexReader reader = DirectoryReader.Open(FSDirectory.Open("Index_Data"));
            
            var searcher = new IndexSearcher(reader);
            
            var keyWordQuery = new BooleanQuery();
            foreach (var item in GetKeyWords(q))
            {
                keyWordQuery.Add(new TermQuery(new Term("title", item)), Occur.SHOULD);
                keyWordQuery.Add(new TermQuery(new Term("keyword", item)), Occur.SHOULD);
                keyWordQuery.Add(new TermQuery(new Term("description", item)), Occur.SHOULD);
            }
            var hits = searcher.Search(keyWordQuery, 200).ScoreDocs;

            foreach (var hit in hits)
            {
                var document = searcher.Doc(hit.Doc);
                Console.WriteLine("Url:{0}", document.Get("url"));
                Console.WriteLine("Title:{0}", document.Get("title"));
                Console.WriteLine("Keyword:{0}", document.Get("keyword"));
                Console.WriteLine("Description:{0}", document.Get("description"));
            }
        }
    }
}

原文鏈接：http://www.zkea.net/codesnippet/detail/lucene-net.html

轉載請註明出處，本文鏈接：https://www.uj5u.com/net/59631.html

標籤：.NET Core

上一篇：從未來看 C#

下一篇：Angular SPA基于Ocelot API網關與IdentityServer4的身份認證與授權（一）