作者 | 劉廣東，Apache SeaTunnel Committer
背景
目前，現有的圖書搜索解決方案（例如公共圖書館使用的解決方案）十分依賴于關鍵詞匹配，而不是對書名實際內容的語意理解，因此會導致搜索結果并不能很好地滿足我們的需求，甚至與我們期待的結果大相徑庭，這是因為僅僅依靠關鍵詞匹配是不夠的，因為它無法實作語意理解，也就無法理解搜索者真正的意圖，
那么，有更好的方法可以讓我們更加準確、高效地進行圖書搜索嗎？答案是有！本文中，我將介紹如何結合使用Apache SeaTunnel、Milvus和OpenAI進行相似度搜索，實作對整個書名的語意理解，從而讓搜索結果更加精準，
使用訓練有素的模型來表示輸入資料被稱為語意搜索，這種方法可以擴展到各種不同的基于文本的用例，包括例外檢測和檔案搜索，因此，本文所介紹的技術可以為圖書搜索領域帶來重大的突破和影響，
接下來我來簡單介紹幾個與本文相關的概念和用到的工具/平臺，便于大家更好地理解本文，
什么是Apache SeaTunnel
Apache SeaTunnel是一個開源的、高性能的、分布式的資料管理和計算平臺，它是由Apache基金會支持的一個頂級專案，能夠處理海量資料、提供實時的資料查詢和計算，并支持多種資料源和格式，SeaTunnel的目標是提供一個可擴展的、面向企業的資料管理和集成平臺，以滿足各種大規模資料處理需求，
什么是Milvus
Milvus是一個開源的類似向量搜索引擎，它支持海量向量的存盤、檢索和相似度搜索，是一個針對大規模向量資料的高性能、低成本的解決方案，Milvus可以在多種場景下使用，如推薦系統、影像搜索、音樂推薦和自然語言處理等，
什么是OpenAI
ChatGPT是一種基于GPT（Generative Pre-trained Transformer）模型的對話生成系統，是由OpenAI開發的，該系統主要使用了自然語言處理、深度學習等技術，可以生成與人類對話相似的自然語言文本，ChatGPT的應用范圍很廣，可以用于開發智能客服、聊天機器人、智能助手等應用程式，也可以用于語言模型的研究和開發，近年來，ChatGPT已經成為了自然語言處理領域的研究熱點之一，
什么是LLM（Large Language Model）
大語言模型（Large Language Model）是一種基于深度學習技術的自然語言處理模型，它可以對一段給定的文本進行分析和理解，并生成與之相關的文本內容，大語言模型通常使用深度神經網路來學習自然語言的語法和語意規則，并將文本資料轉換為連續向量空間中的向量表示，在訓練程序中，大語言模型利用大量的文本資料來學習語言模式和統計規律，從而可以生成高質量的文本內容，如文章、新聞、對話等，大語言模型的應用領域非常廣泛，包括機器翻譯、文本生成、問答系統、語音識別等，目前，許多開放源代碼深度學習框架都提供了大語言模型的實作，如TensorFlow、PyTorch等，
教程
重點來了！我將展示如何將Apache SeaTunnel、OpenAI的Embedding API與我們的矢量資料庫結合使用，來通過語意搜索整個書名，
準備步驟
在實驗之前，我們需要去官網獲取一個OpenAI的token，然后在去部署一個Milvus的實驗環境，我們還需要準備好將用于這個例子的資料，你可以從這里下載資料，
通過SeaTunnel將資料匯入Milvus
首先，將book.csv放到/tmp/milvus_test/book下，然后配置任務配置為milvus.conf并放到config下，請參考快速使用指南，
env {
# You can set engine configuration here
execution.parallelism = 1
job.mode = "BATCH"
checkpoint.interval = 5000
#execution.checkpoint.data-uri = "hdfs://localhost:9000/checkpoint"
}
source {
# This is a example source plugin **only for test and demonstrate the feature source plugin**
LocalFile {
schema {
fields {
bookID = string
title_1 = string
title_2 = string
}
}
path = "/tmp/milvus_test/book"
file_format_type = "csv"
}
}
transform {
}
sink {
Milvus {
milvus_host = localhost
milvus_port = 19530
username = root
password = Milvus
collection_name = title_db
openai_engine = text-embedding-ada-002
openai_api_key = sk-xxxx
embeddings_fields = title_2
}
}
執行如下命令：
./bin/SeaTunnel.sh --config ./config/milvus.conf -e local
查看資料庫中資料，可以看到已經有資料寫入進去，
然后使用如下代碼通過語意搜索書名：
import json
import random
import openai
import time
from pymilvus import connections, FieldSchema, CollectionSchema, DataType, Collection, utility
COLLECTION_NAME = 'title_db' # Collection name
DIMENSION = 1536 # Embeddings size
COUNT = 100 # How many titles to embed and insert.
MILVUS_HOST = 'localhost' # Milvus server URI
MILVUS_PORT = '19530'
OPENAI_ENGINE = 'text-embedding-ada-002' # Which engine to use
openai.api_key = 'sk-******' # Use your own Open AI API Key here
connections.connect(host=MILVUS_HOST, port=MILVUS_PORT)
collection = Collection(name=COLLECTION_NAME)
collection.load()
def embed(text):
return openai.Embedding.create(
input=text,
engine=OPENAI_ENGINE)["data"][0]["embedding"]
def search(text):
# Search parameters for the index
search_params={
"metric_type": "L2"
}
results=collection.search(
data=https://www.cnblogs.com/seatunnel/p/[embed(text)], # Embeded search value
anns_field="title_2", # Search across embeddings
param=search_params,
limit=5, # Limit to five results per search
output_fields=['title_1'] # Include title field in result
)
ret=[]
for hit in results[0]:
row=[]
row.extend([hit.id, hit.score, hit.entity.get('title_1')]) # Get the id, distance, and title for the results
ret.append(row)
return ret
search_terms=['self-improvement', 'landscape']
for x in search_terms:
print('Search term:', x)
for result in search(x):
print(result)
print()
?
搜索結果如下：
Search term: self-improvement
[96, 0.4079835116863251, "The Dance of Intimacy: A Woman's Guide to Courageous Acts of Change in Key Relationships"]
[56, 0.41880303621292114, 'Nicomachean Ethics']
[76, 0.4309804439544678, 'Possession']
[19, 0.43588975071907043, 'Vanity Fair']
[7, 0.4423919916152954, 'Knowledge Is Power (The Amazing Days of Abby Hayes: #15)']
Search term: landscape
[9, 0.3023473024368286, 'The Lay of the Land']
[1, 0.3906732499599457, 'The Angry Hills']
[78, 0.392495334148407, 'Cloud Atlas']
[95, 0.39346450567245483, 'Alien']
[94, 0.399422287940979, 'The Known World']
如果我們按照之前的老方法——關鍵詞搜索，書名中必須包含自我提升、提升等關鍵詞；但是提供大模型進行語意級別的理解，則可以檢索到更加符合我們需求的書名，比如在上面的例子中，我們搜索的關鍵詞為self-improvement（自我提升），展示的書名《關系之舞：既親密又獨立的相處藝術》、《尼各馬可倫理學》等雖然不包含相關關鍵詞，卻很明顯更加符合我們的要求，
可見，我們利用Apache SeaTunnel、Milvus和OpenAI，通過大語言模型的方法，可以實作更加精準的書名相似度搜素，為圖書搜索領域帶來重大的技術突破，同時對于語意理解也提供了有價值的參考，希望可以給大家帶來一些啟發，
相關鏈接
- https://seatunnel.apache.org/
- https://openai.com/
- https://milvus.io/
本文由 白鯨開源 提供發布支持！
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/556068.html
標籤：大數據
上一篇：Spark簡介
下一篇：返回列表