用途
本技能面向已经选定 LangSmith 的场景,帮助用户为追踪、评估、审阅、提示词归属或链路传播确定“最小的可用工作包”。当请求涉及 LangChain 追踪、@traceable / traceable、wrap_openai / wrapOpenAI、标注队列、运行树、trace ID、数据集或实验对比时适用。也适用于团队需要判断一次改动到底需要调试追踪、离线评估门禁、在线审阅队列、Prompt Hub / 提示词注册表,还是多服务血缘;以及已有部分 LangSmith 接入但信心不足、需要审计与缺口复核的情况。
核心思路
LangSmith 应表现为一个工作流包路由器,而不是庞大的 SDK 百科。做法是:先给请求打标签再命名 API;只选一个主包;挑出能回答当前问题的最小插桩 / 评估 / 审阅面;返回一份紧凑的操作简报;把相邻的可观测、调试、部署与策略工作快速路由出去。
主要能力
单一主包选择:从 trace-debug、eval、review、prompt-registry、propagation、audit 中选一个。团队无法解释运行树时优先 trace-debug;下一个风险是无回归门禁就上线时优先 eval;真实用户输出需要人工或结构化质量反馈时优先 review;提示词/版本选择是真正瓶颈时优先 prompt-registry;一次请求跨出单服务边界时优先 propagation;系统“已有 LangSmith”但信心仍低时优先 audit。
最小插桩面:提供者包装器(wrap_openai、wrap_anthropic、wrapOpenAI)用于快速覆盖模型调用;装饰器 / traceable() 用于在应用函数周围建立具名 span;手动追踪块用于范围化或临时可见性;标注队列 + 反馈标准用于结构化人工审阅;数据集 + 实验工作流用于基准或回归检查;CLI 导出/列表/获取流程用于审计与导出操作;跨服务传播头 / 元数据用于端到端血缘。规则是最小面优先,始终命名项目/工作区/环境分组,保留 run_id、trace_id 与元数据,并为 CLI、worker 和短生命周期任务加入 shutdown flush / wait 行为。
评估与审阅分层:确定性 / 代码评估器用于输出可机械检查的场景,是结构/事实规则的首选;LLM-as-judge(openevals)用于质量主观或缺乏参考的场景;人工审阅用于高风险或细节主导的场景;成对比较用于两个提示词/模型/应用版本的对比;在线评估器用于生产流量持续打分。不同层不可相互替代。
使用方式
第一步,把提示词规整为 intake packet,字段包括 primary_packet、app_shape、runtime、request_type、current_evidence、confidence_problem、route_after。第二步,选定一个主包;若两个都像,选能最快降低不确定性的那个。第三步,选定最小有用面。第四步,仅在需要时选评估或审阅层。第五步,返回一份紧凑简报,包含 Packet、App shape、Runtime、Current evidence、Chosen surface、Required config(如 LANGSMITH_API_KEY、项目/工作区/环境、自托管时的 endpoint/workspace 覆盖)、Required IDs / metadata(run_id、trace_id、tags、metadata、用户/会话标识)、Verification step(一次 trace 查询、一次实验对比、一次队列审阅检查或一次提示词版本检查)、Route-out。
适用场景
为 FastAPI RAG 服务接入 LangSmith 以调试检索器变更后答案质量回退;上线提示词改写前构建带基线、候选与主观质量评判的评估工作流;已有追踪但支持负责人不信任 AI 助手,建立人工评分审阅流程;判断提示词应放在 LangSmith Prompt Hub 还是 Git;一次聊天请求扇出到 worker 与工具时保持单一 trace。
限制
不要将本技能作为主工作流用于:通用仪表盘 / 告警 / SLO / 遥测归属(应转向 monitoring-observability)、既有日志根因排障(log-analysis)、代码级复现与缺陷隔离(debugging)、部署 / 发布编排(deployment-automation)、通用导出指标解读或 KPI 综合(data-analysis)、运行时护栏 / 审批 / 策略中间件(相关安全或策略技能)。当瓶颈不再是 LangSmith 时,应立即路由出去。Prompt Hub 可能是可选的或仅供参考,需保持诚实。