用途：为 LangChain 1.0 链和 LangGraph 1.0 智能体搭建可复现的评测流水线，解决模型替换或提示改动后质量回退在代码评审与 CI 中不可见的问题。
主要能力：构建带 dataset_version 标签的 JSONL golden 集（起步 20 条，PR 门禁建议 100 条，绝对指标声明 200+）；用 LangSmith evaluate() 配合自定义 evaluator 做确定性精确匹配；对 RAG 链用 ragas 计算 faithfulness、answer_relevancy、context_precision、context_recall；对自由文本用 deepeval 的 G-Eval LLM 评判，并以 N=3 取中位数抑制方差；对 LangGraph 智能体按 coverage、precision、order（Kendall's tau）评分工具调用轨迹；用配对 Wilcoxon 符号秩检验在 PR 上做回归门禁（聚合均值降幅 >2%、单例降幅 >5% 或 p<0.05 且均值为负则阻断）。
使用方式：需 Python 3.10+，被测系统 langchain-core >=1.0,<2.0、langgraph >=1.0,<2.0；安装 pip install langsmith>=0.2 ragas>=0.2 deepeval>=2.0 scipy；需 LangSmith 账号与 LANGSMITH_API_KEY，以及评判模型所需的 OPENAI_API_KEY 和/或 ANTHROPIC_API_KEY。评测时设 temperature=0，控制 max_concurrency=10 避免限流。
限制：ragas 不适用于非 RAG 链（空上下文会得 0 分）；LLM 评判存在方差，单次运行分数不适合 CI；n<50 时不做 Wilcoxon 检验；评判调用成本随样本数、指标数与评判次数增长，建议用 gpt-4o-mini 并缓存。具体价格、平台支持与效果数据暂未提供。