Python LangServe 服务

作者：追风剑情发布于：2026-6-18 15:07 分类：AI

LangServe 是 LangChain 官方推出的一个工具，可以把它理解成一个 “大模型应用部署器” 。它能帮你把用 LangChain 构建的应用（比如一个问答链、一个智能代理）快速打包成一个标准的 REST API 服务，这样其他程序（比如你的前端页面、手机App）就能通过 HTTP 请求来调用它了。

示例：

# 更新导入路径
from fastapi import FastAPI
# 从 langchain_core 导入提示词模板
from langchain_core.prompts import ChatPromptTemplate
# 从 langchain_ollama 导入 ChatOllama
from langchain_ollama import ChatOllama
from langserve import add_routes
import uvicorn

# 创建 FastAPI 应用
app = FastAPI(
    title="自我介绍生成器 (Ollama)",
    version="1.0",
    description="使用本地 DeepSeek-R1:7b 生成自我介绍",
)

# 定义提示词模板
prompt_template = """
我的名字叫 {name}，我的职业是 {job}。
请根据我的名字和职业，帮我想一段有吸引力的自我介绍的句子。
"""

# 初始化本地 Ollama 模型
model = ChatOllama(
    model="deepseek-r1:7b",
    base_url="http://localhost:11434",  # 根据实际情况调整
)

# 创建提示词模板对象
prompt = ChatPromptTemplate.from_template(prompt_template)

# 构建链
chain = prompt | model

# 添加 LangServe 路由
add_routes(
    app,
    chain,
    path="/introduce",
)

if __name__ == "__main__":
    uvicorn.run(app, host="localhost", port=8000)

启动 LangServe 服务器