langgraph-testing-evaluation

用途：验证 LangGraph/LangChain 智能体质量，适合编写单元与集成测试、生成测试脚手架、模拟 LLM/工具调用、做轨迹评估、LangSmith 数据集评估，以及新旧版本的 A/B 式比较。\n\n主要能力：提供按需加载的参考文档，覆盖单元测试模式、轨迹评估、LangSmith 评估和 A/B 测试；脚本涵盖生成测试脚手架、运行轨迹评估、运行 LangSmith 数据集评估、比较两个智能体版本、创建模拟响应配置。轨迹评估支持 match 与 llm-judge 两种方式，match 模式有 strict、unordered、subset、superset；评估支持多评估器（如 accuracy,latency）和并发控制。\n\n使用方式：在仓库根目录运行脚本，例如：\nuv run skills/langgraph-testing-evaluation/scripts/generate_test_cases.py my_agent:graph --output tests/ --framework pytest\nuv run skills/langgraph-testing-evaluation/scripts/run_trajectory_eval.py my_agent:run_agent my_dataset --method llm-judge --model openai:o3-mini\nuv run skills/langgraph-testing-evaluation/scripts/evaluate_with_langsmith.py my_agent:run_agent my_dataset --evaluators accuracy,latency --max-concurrency 4\nuv run skills/langgraph-testing-evaluation/scripts/compare_agents.py my_agent:v1 my_agent:v2 dataset.json --output comparison_report.json\nuv run skills/langgraph-testing-evaluation/scripts/mock_llm_responses.py create --type sequence --output mock_config.json\nJS/TS 对应脚本用 node 调用。数据集支持本地 JSON 文件或 LangSmith 数据集名；部分脚本提供 --no-langsmith 仅用本地文件，Python 评估脚本有 --no-upload 不上传实验结果。\n\n适用场景与限制：优先从确定性单元测试开始，再补充集成/轨迹检查、数据集评估，最后在部署前做 A/B 对比。注意单元范围应模拟 LLM/工具以避免不稳定；轨迹匹配过严可能造成高方差，可切换匹配模式；聚合分数可能掩盖回归，需按样本和元数据分段检查，并加入延迟评估与 CI 阈值。未提供的收费、价格或平台细节暂未说明。