使用 LangChain 開發(fā) LLM 應(yīng)用時(shí)，需要機(jī)器進(jìn)行 GLM 部署，好多同學(xué)第一步就被勸退了，那么如何繞過這個(gè)步驟先學(xué)習(xí) LLM 模型的應(yīng)用，對(duì) Langchain 進(jìn)行快速上手？本片講解 3 個(gè)把 LangChain 跑起來的方法，如有錯(cuò)誤歡迎糾正。

基礎(chǔ)功能

LLM 調(diào)用

支持多種模型接口，比如 OpenAI、HuggingFace、AzureOpenAI …

Fake LLM，用于測(cè)試

緩存的支持，比如 in-mem（內(nèi)存）、SQLite、Redis、SQL

用量記錄

支持流模式（就是一個(gè)字一個(gè)字的返回，類似打字效果）

Prompt 管理，支持各種自定義模板 擁有大量的文檔加載器，比如 Email、Markdown、PDF、Youtube … 對(duì)索引的支持

文檔分割器

向量化

對(duì)接向量存儲(chǔ)與搜索，比如 Chroma、Pinecone、Qdrand

Chains

LLMChain

各種工具 Chain

LangChainHub

測(cè)試 Langchain 工程的 3 個(gè)方法：

1 使用 Langchian 提供的 FakeListLLM 為了節(jié)約時(shí)間，直接上代碼

import os
from decouple import config
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from langchain.agents import load_tools

這里 mock 下 ChatGPT, 使用 mockLLm

#from langchain.llms import OpenAI
from langchain.llms.fake import FakeListLLM
os.environ["OPENAI_API_KEY"] = config('OPENAI_API_KEY')

REPL 是 “Read–Eval–Print Loop”（讀取 - 求值 - 打印 - 循環(huán)）的縮寫，它是一種簡(jiǎn)單的、交互式的編程環(huán)境。

在 REPL 環(huán)境中，用戶可以輸入一條或多條編程語句，系統(tǒng)會(huì)立即執(zhí)行這些語句并輸出結(jié)果。這種方式非常適合進(jìn)行快速的代碼試驗(yàn)和調(diào)試。

tools = load_tools(["python_repl"])
responses=[
    "Action: Python REPL
Action Input: chatGpt原理",
    "Final Answer: mock答案"
]
llm = FakeListLLM(responses=responses)
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("chatGpt原理2")

from langchain.llms.human import HumanInputLLM
from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from wikipedia import set_lang

使用維基百科工具

tools = load_tools(["wikipedia"])

這里必須要設(shè)置為中文 url 前綴，不然訪問不了

set_lang("zh")

初始化 LLM

llm = HumanInputLLM(prompt_func=lambda prompt: print(f"
===PROMPT====
{prompt}
=====END OF PROMPT======"))

初始化 agent

agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("喜羊羊")

from langchain.document_loaders import UnstructuredFileLoader
from langchain.chains.summarize import load_summarize_chain
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain import HuggingFaceHub
import os
from decouple import config

from langchain.agents import load_tools

這里 mock 下 ChatGPT, 使用 HUGGINGFACEHUB

os.environ["HUGGINGFACEHUB_API_TOKEN"] = config('HUGGINGFACEHUB_API_TOKEN')

導(dǎo)入文本

loader = UnstructuredFileLoader("docment_storehelloLangChain.txt")

將文本轉(zhuǎn)成 Document 對(duì)象

document = loader.load()
print(f'documents:{len(document)}')

初始化文本分割器

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size = 500,
    chunk_overlap = 0
)

切分文本

split_documents = text_splitter.split_documents(document)
print(f'documents:{len(split_documents)}')

加載 LLM 模型

overal_temperature = 0.1
flan_t5xxl = HuggingFaceHub(repo_id="google/flan-t5-xxl", 
                         model_kwargs={"temperature":overal_temperature, 
                                       "max_new_tokens":200}
                         ) 

llm = flan_t5xxl
tools = load_tools(["llm-math"], llm=llm)

創(chuàng)建總結(jié)鏈

chain = load_summarize_chain(llm, chain_type="refine", verbose=True)

執(zhí)行總結(jié)鏈

chain.run(split_documents)

Leader 所有的數(shù)據(jù)，本次日志對(duì)齊即完成。

審核編輯：劉清