Agent Designer 是一套多智能体系统架构技能,用于设计、生成工具 schema 并评估多智能体系统,核心由三个确定性工具(脚本)组成。其设计原则是:脚本即工作流,当规划器能够根据需求对架构打分时,不要凭感觉手写架构。
适用场景
- 根据需求设计新的多智能体系统,包括编排模式选择、角色划分与通信方式。
- 从普通工具描述生成可直接供服务商使用的工具 schema(Anthropic 与 OpenAI 格式)。
- 评估执行日志:成功率、时延分布、成本与瓶颈。
不适用场景
- Claude Code Workflow 工具类自动化,应使用 workflow-builder。
- 单智能体工作流脚手架,应使用 agent-workflow-designer。
- 运行时的多智能体扇出,应使用 agenthub。
编排模式决策表
该技能内置一张模式决策表,列出可选模式、选用时机与注意事项:
- 单智能体(Single agent):用于一个有边界的任务、工具数少于约 5 个时;注意不要添加并不需要的智能体。
- 监督者(Supervisor):用于中心化拆解、专家回报结果的场景;注意监督者可能成为瓶颈。
- 流水线(Pipeline):用于严格顺序、阶段间交接的场景;注意顺序固化,最慢阶段决定吞吐。
- 层级式(Hierarchical):用于多组织层级、智能体数超过约 8 个时;注意每层都有通信开销。
- 蜂群(Swarm):用于并行对等、以容错优先于可预测性的场景;注意难以调试,需要共识规则。
规划器以确定性方式应用该评分体系,建议运行它而不是凭感觉挑选模式。
工作流(所有路径相对于该技能文件夹,每一步的 JSON 输出是下一步的设计输入)
- 设计架构
编写需求 JSON(可复制 assets/sample_system_requirements.json,键包括:goal、tasks[]、constraints{max_response_time, budget_per_task, concurrent_tasks}、team_size):
python3 agent_planner.py requirements.json --format json -o arch
该命令输出 arch.json,包含 architecture_design(pattern、agents、communication links)、mermaid_diagram 与 implementation_roadmap。读取 architecture_design.pattern 以及每个智能体的角色列表,并向用户展示 mermaid 图。
- 生成工具 schema
用普通 JSON 描述每个智能体的工具(可复制 assets/sample_tool_descriptions.json),然后运行:
python3 tool_schema_generator.py tool_descriptions.json --validate -o tools
该命令输出 tools.json(tool_schemas、validation_summary)以及按服务商区分的 tools_anthropic.json / tools_openai.json。关卡要求:每个工具都必须打印 ✓ Valid。继续之前必须修复任何无效 schema,绝不要把未校验的 schema 交给智能体。
- 评估执行日志
系统运行后(或针对 assets/sample_execution_logs.json 做空跑):
python3 agent_evaluator.py execution_logs.json --detailed -o eval
该命令输出 eval.json,包含 summary、agent_metrics、bottleneck_analysis、error_analysis、cost_breakdown、sla_compliance 与 optimization_recommendations,并额外拆分为 eval_errors.json、eval_recommendations.json 文件。
- 验证循环
设计在满足以下条件前不算完成:
- tool_schema_generator.py --validate 报告 0 个无效 schema。
- 对试运行执行 agent_evaluator.py,报告 0 个严重问题(发现时工具会打印 CRITICAL: N critical issues)。如果 N > 0,应用 eval_recommendations.json 中的首条建议,重新运行试运行并重新评估。
- 将输出与 expected_outputs/ 对比,确认所消费的 schema 形状没有漂移。
参考资料
- references/agent_architecture_patterns.md:深入介绍各模式的权衡。
- references/tool_design_best_practices.md:schema、幂等性与错误处理规则。
- references/evaluation_methodology.md:评估器所实现的指标定义。