把langchain跑起來的3個方法-有解無憂

使用LangChain開發LLM應用時，需要機器進行GLM部署，好多同學第一步就被勸退了，那么如何繞過這個步驟先學習LLM模型的應用，對Langchain進行快速上手？本片講解3個把LangChain跑起來的方法，如有錯誤歡迎糾正，

Langchain官方檔案地址：
https://python.langchain.com/

基礎功能

LLM 呼叫

支持多種模型介面，比如 OpenAI、HuggingFace、AzureOpenAI …
Fake LLM，用于測驗
快取的支持，比如 in-mem（記憶體）、SQLite、Redis、SQL
用量記錄
支持流模式（就是一個字一個字的回傳，類似打字效果）

Prompt管理，支持各種自定義模板

擁有大量的檔案加載器，比如 Email、Markdown、PDF、Youtube …

對索引的支持

檔案分割器
向量化
對接向量存盤與搜索，比如 Chroma、Pinecone、Qdrand

Chains

LLMChain
各種工具Chain
LangChainHub

詳細地址可參考：
https://www.langchain.cn/t/topic/35

測驗Langchain工程的3個方法：

1 使用Langchian提供的FakeListLLM

為了節約時間,直接上代碼

import os
from decouple import config
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from langchain.agents import load_tools

這里mock下ChatGPT,使用mockLLm

#from langchain.llms import OpenAI
from langchain.llms.fake import FakeListLLM
os.environ["OPENAI_API_KEY"] = config('OPENAI_API_KEY')

REPL 是 “Read–Eval–Print Loop”（讀取-求值-列印-回圈）的縮寫，它是一種簡單的、互動式的編程環境，

在 REPL 環境中，用戶可以輸入一潭訓多條編程陳述句，系統會立即執行這些陳述句并輸出結果，這種方式非常適合進行快速的代碼試驗和除錯，

tools = load_tools(["python_repl"])
responses=[
    "Action: Python REPL\nAction Input: chatGpt原理",
    "Final Answer: mock答案"
]
llm = FakeListLLM(responses=responses)
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("chatGpt原理2")

2 使用Langchian提供的HumanInputLLM，訪問維基百科查詢

from langchain.llms.human import HumanInputLLM
from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from wikipedia import set_lang

使用維基百科工具

tools = load_tools(["wikipedia"])

這里必須要設定為中文url前綴，不然訪問不了

set_lang("zh")

初始化LLM

llm = HumanInputLLM(prompt_func=lambda prompt: print(f"\n===PROMPT====\n{prompt}\n=====END OF PROMPT======"))

初始化agent

agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("喜羊羊")

3 使用huggingface

https://huggingface.co/docs

1.注冊賬號

2.創建Access Tokens

Demo：使用模型對檔案進行摘要

from langchain.document_loaders import UnstructuredFileLoader
from langchain.chains.summarize import load_summarize_chain
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain import HuggingFaceHub
import os
from decouple import config

from langchain.agents import load_tools

這里mock下ChatGPT,使用HUGGINGFACEHUB

os.environ["HUGGINGFACEHUB_API_TOKEN"] = config('HUGGINGFACEHUB_API_TOKEN')

匯入文本

loader = UnstructuredFileLoader("docment_store\helloLangChain.txt")

將文本轉成 Document 物件

document = loader.load()
print(f'documents:{len(document)}')

初始化文本分割器

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size = 500,
    chunk_overlap = 0
)

切分文本

split_documents = text_splitter.split_documents(document)
print(f'documents:{len(split_documents)}')

加載 LLM 模型

overal_temperature = 0.1
flan_t5xxl = HuggingFaceHub(repo_id="google/flan-t5-xxl", 
                         model_kwargs={"temperature":overal_temperature, 
                                       "max_new_tokens":200}
                         ) 

llm = flan_t5xxl
tools = load_tools(["llm-math"], llm=llm)

創建總結鏈

chain = load_summarize_chain(llm, chain_type="refine", verbose=True)

執行總結鏈

chain.run(split_documents)

作者：京東科技楊建

來源：京東云開發者社區

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/556599.html

標籤：其他

上一篇：python介面自動化封裝匯出excel方法和讀寫excel資料

下一篇：返回列表