SuperAPI AI 工具集

langsmith-evaluator

智能体与模型

查看项目

更新于 10-15 23:48

技能介绍

用途:为 LangSmith 构建评测流水线,创建并管理评测器(Evaluator),对比智能体输出与数据集期望值,或对生产运行做实时质量检查。

主要能力:支持两类评测器。LLM-as-Judge 用 LLM 打分,适合准确性、有用性、相关性等主观质量;自定义代码评测器用确定性逻辑,适合精确匹配、轨迹验证、格式合规等客观检查。离线评测器签名为 (run, example),附着到数据集;在线评测器签名为 (run),附着到项目。每个评测器只返回一个指标,多指标需拆成多个函数。返回格式为 {"score": value, "comment": "..."}。

用法:需认证,设置 LANGSMITH_API_KEY,或在 CLI 命令中传 --api-key(推荐);查项目用 LANGSMITH_PROJECT,可选 LANGSMITH_WORKSPACE_ID,LLM 裁判需 OPENAI_API_KEY。Python 依赖 pip install langsmith langchain-openai python-dotenv;JS 依赖 npm install langsmith openai;上传用 CLI 安装脚本 curl -sSL https://raw.githubusercontent.com/langchain-ai/langsmith-cli/main/scripts/install.sh | sh。上传示例:langsmith evaluator upload my_evaluators.py --name "Trajectory Match" --function trajectory_evaluator --dataset "My Dataset" --replace --api-key $LANGSMITH_API_KEY;在线用 --project。列表 langsmith evaluator list,删除 langsmith evaluator delete。上传到数据集后运行实验会自动执行,无需再传给 evaluate();本地评测则传 evaluators=[...]。

关键限制:写代码前必须先运行智能体并检查实际输出结构,不同框架输出差异大,不可假设。LLM-as-Judge 上传暂不支持 CLI,只支持代码评测器;代码评测器在沙箱中运行,仅能用内置/标准库,import 要放在函数体内。本地 evaluate() 传 RunTree 对象,上传后收到 dict,需兼容两种。破坏性操作有确认提示,除非用户明确要求否则不要用 --yes。