LangSmith 是什么#

当智能体系统逐渐复杂时，单靠 print 调试已经不够用了。LangSmith 是 LangChain 官方推出的可视化监控与测试平台，用于跟踪、记录和分析智能体运行过程中的完整调用链路，让内部运行过程变得透明、可评估。

图：LangSmith 主界面——左侧菜单列全了 Tracing、Monitoring、Datasets、Playground、Studio 等功能

核心目标：

功能板块#

按用途分三组：

功能板块细节#

每个板块再展开说一遍，照着官方文档的功能说明对照着看：

Tracing（追踪）：LangSmith 最核心的功能，会完整记录大模型应用的每一次调用链路（Trace）。当 Agent 或 RAG 系统运行变慢或报错时，点进对应的项目（如 langchain1.2_smith），就能看到每一步的 Prompt 是什么、模型返回了什么、消耗了多少 Token，以及每一个链条节点的耗时，非常方便排查 Bug 和优化性能。

Monitoring（监控）：生产环境的高级数据可视化看板，从宏观角度监控应用在一段时间内的运行状况——Token 消耗趋势、QPS（每秒请求数）、错误率、平均延迟（Latency）、成本预估，适合应用上线后观察系统的稳定性与开销。

Datasets & Experiments（数据集与实验）：管理测试数据集并运行对比实验。可以把用户的真实输入、特定的边界情况（Edge Cases）存成数据集；当你改了 Prompt 或换了底层大模型，就在这里跑自动化对比测试，直观看到新旧版本在同一批测试集上的表现差异。

Evaluators（评估器）：配置和自动化评估任务。大模型的输出往往难以用传统的断言（Assert）来测试，这里允许你配置基于规则（如关键词匹配）或基于模型（LLM-as-a-judge，用一个模型当裁判）的评估指标——比如答案相关性、是否包含幻觉——对追踪到的数据或实验结果自动打分。

Annotation Queues（标注队列）：人工反馈与数据清洗工具。在应用开发或初上线阶段，可以把一部分痕迹（Traces）发送到标注队列，让团队中的核心成员、业务专家或人工客服手动打分、纠正回答或贴标签；这些高质量的人工标注数据后续可以直接用于微调模型或充当测试集。

Prompts（提示词管理）：类似”提示词版的 GitHub”。把 Prompt 从代码中解耦出来、统一在云端管理，支持版本控制（如 v1、v2），可以直接在代码中通过 API 动态拉取最新的提示词，还支持团队协作与 Prompt 分享。

Playground（演练场）：一个网页端的模型交互界面。无需写任何代码，直接在这里选择不同的模型（如 OpenAI、Anthropic 或本地模型），快速微调并测试你的 Prompt 效果，还能一键把调整好的 Prompt 保存到上方的 Prompts 仓库中。

Studio（工作室）：通常与 LangGraph 深度集成，提供可视化的图形交互界面。如果应用是基于图结构（Graph-based）的复杂 Agent 架构，可以用它可视化地看到状态机（State）在各个节点之间的流转，甚至支持在某个节点**“暂停”**、手动修改数据后再继续向下执行，是调试复杂智能体交互的利器。

Context Hub（上下文中心）：管理全局上下文或通用组件配置，用于存放可在多个项目或 Prompt 中复用的公共上下文模板、全局变量或系统预设提示。

Deployments（部署）：一键把 LangChain 应用或 LangGraph Agent 部署为线上可用的 API 服务（通常依托 LangGraph Cloud），提供开箱即用的生产端点，帮你处理高并发、队列管理和状态持久化，让你专注写业务逻辑。

Sandboxes（沙盒）：提供轻量级的在线运行和测试环境，在不污染生产环境的前提下，供开发人员安全地试运行、测试新部署的 Agent 或执行自动化脚本。

准备账号与 API Key#

1. 访问官网 https://smith.langchain.com/ 注册或登录

图：注册 / 登录页面（注册时先选数据区域，之后不能改）

2. 进入设置 → 创建 API Key

图：左侧菜单最下方的 Settings 入口，进去就是 API Keys 页面

3. 点 copy 保存好：

图：创建成功后的复制弹窗——API Key 只在这里显示一次

图：需要作废密钥时，点列表右侧的图标删除（删除前会二次确认）

配置四个环境变量#

在项目 .env 里加上：

1
# 是否启用 LangSmith 监控功能
2
LANGSMITH_TRACING=true
3

4
# LangSmith 监控 WebUI 地址
5
LANGSMITH_ENDPOINT=https://api.smith.langchain.com
6

7
# 创建的 API_KEY
8
LANGSMITH_API_KEY=<YOUR_API_KEY>
9

10
# 自定义项目名称（在 WebUI 里按这个名字查看运行记录）
11
LANGSMITH_PROJECT="pr-clear-harmony-32"

查看监控指标#

只要 .env 配好，跑任意 LangChain 程序就会自动记录：

1
import os
2
from dotenv import load_dotenv
3
from langchain.chat_models import init_chat_model
4

5
load_dotenv(override=True)      # 把 .env 里的变量加载为环境变量（override=True 表示 .env 优先）
6

7
model = init_chat_model(
8
    model="deepseek-v4-flash",
9
    model_provider="openai",
10
    base_url=os.getenv("DEEPSEEK_BASE_URL"),
11
    api_key=os.getenv("DEEPSEEK_API_KEY"),
12
)
13

14
print(model.invoke("你好"))

运行后到 LangSmith 官网，进入 LANGSMITH_PROJECT 指定的项目，就能看到这次调用的完整链路（输入提示词、模型返回、Token 消耗、耗时）。

图：Tracing 界面里按 LANGSMITH_PROJECT 命名的项目，Trace Count / 延迟 / Token / 成本一目了然

图：Monitoring 界面的运行报表——可切换项目，按标签查看一段时间内的调用趋势

上报姿势与 config 用法#

课程演示了三种调用姿势，都能被 LangSmith 自动记录——代码里没有任何 LangSmith 相关调用，全靠 .env 里的四个变量。

姿势 1：直接用专用类 ChatDeepSeek

1
import os
2
from dotenv import load_dotenv
3
from langchain_deepseek import ChatDeepSeek
4

5
# 将env文件中的变量加载为环境变量
6
# override=True：表示.env优先
7
load_dotenv(override=True)
8

9
DEEPSEEK_API_KEY = os.getenv("DEEPSEEK_API_KEY")
10
DEEPSEEK_BASE_URL = os.getenv("DEEPSEEK_BASE_URL")
11

12
model = ChatDeepSeek(
13
    api_key=DEEPSEEK_API_KEY,
14
    api_base=DEEPSEEK_BASE_URL,
15
    model_name="deepseek-v4-flash"
16
)
17
print(model.invoke("你好"))

姿势 2：init_chat_model + CloseAI 中转平台

1
from langchain.chat_models import init_chat_model
2
from dotenv import load_dotenv
3
import os
4

5
load_dotenv(override=True)
6
CLOSEAI_API_KEY = os.getenv("CLOSEAI_API_KEY")
7
CLOSEAI_BASE_URL = os.getenv("CLOSEAI_BASE_URL")
8

9
model = init_chat_model(model="deepseek-v4-flash",
10
                        model_provider="openai",
11
                        api_key=CLOSEAI_API_KEY,
12
                        base_url=CLOSEAI_BASE_URL)
13
print(model.invoke("你好，用一句话回答"))

姿势 3：带 config 的完整姿势（推荐）

给这次运行起个名字、打上标签、带上业务元数据，在 LangSmith 里就好找多了：

1
from langchain.chat_models import init_chat_model
2
from dotenv import load_dotenv
3
import os
4
from rich import print as rprint
5

6
# 从.env文件中加载环境变量
7
load_dotenv(override=True)
8
DEEPSEEK_API_KEY = os.getenv("DEEPSEEK_API_KEY")
9
DEEPSEEK_BASE_URL = os.getenv("DEEPSEEK_BASE_URL")
10

11
# 1. 初始化模型
12
model = init_chat_model(
13
    model="deepseek-v4-flash",
14
    model_provider="deepseek",
15
    api_key=DEEPSEEK_API_KEY,
16
    base_url=DEEPSEEK_BASE_URL,
17
    temperature=0.2,
18
    max_tokens=500,
19
    # 指定可调整参数
20
    configurable_fields=("model", "model_provider", "temperature", "max_tokens"),
21
)
22

23
# 2. 准备 config 字典
24
config = {
25
    "run_name": "joke_generation",     # 在LangSmith中这次运行会显示为 joke_generation
26
    "tags": ["my_tag1", "my_tag2"],    # 打上标签便于分类查找
27
    "metadata": {
28
        "user_id": "shkstart",         # 记录用户ID
29
        "session_id": "sess_123"       # 记录会话ID
30
    },
31
    "configurable": {
32
        "model": "deepseek-v4-pro",    # 配置模型参数
33
        "model_provider": "openai",    # 配置模型提供商参数
34
        "temperature": 0.7,            # 配置温度参数
35
        "max_tokens": 1000             # 配置最大令牌数
36
    }
37
}
38

39
# 3. 调用模型并传入config
40
response = model.invoke("1 + 2 = ？", config=config)
41
rprint(response)

相关#

• 模型的创建
• Message与提示词模板

练习题#

1
# 2-1 .env 里补上这四行
2
LANGSMITH_TRACING=true
3
LANGSMITH_ENDPOINT=https://api.smith.langchain.com
4
LANGSMITH_API_KEY=<你复制的 API Key>
5
LANGSMITH_PROJECT="langchain-study"

1
# 2-2 运行这段，然后去官网看 Trace（代码不用管 LangSmith）
2
import os
3
from dotenv import load_dotenv
4
from langchain.chat_models import init_chat_model
5

6
load_dotenv(override=True)
7

8
model = init_chat_model(
9
    model="deepseek-v4-flash",
10
    model_provider="openai",
11
    base_url=os.getenv("DEEPSEEK_BASE_URL"),
12
    api_key=os.getenv("DEEPSEEK_API_KEY"),
13
)
14

15
print(model.invoke("你好，用一句话回答").content)
16
# 打开 https://smith.langchain.com/ → 进入 LANGSMITH_PROJECT 指定的项目 → 能看到本次调用
17

18
# 2-3 把 LANGSMITH_TRACING 改成 false 再跑，官网不会新增记录