design-agent-evals 是一个面向 Design Agent 的评测技能，用来回答一个具体问题：某项改动到底让智能体变好了还是变差了。它的核心方法是做前后对照——在改动前后，用同一个模型、同一组任务分别跑一遍，再读报告比较结果。
主要能力与使用方式：
-
列出任务与成本。运行 uv run design-agent eval list 可以查看每个任务及其美元和分钟上限，便于按预算挑选。
-
挑选任务。选取改动所涉及的任务，再加一个行为任务：静态图像技能对应 still 任务，动态内容对应 teaser 和 film，文案规则对应 exact-copy。
-
前后运行。使用 uv run design-agent eval run --task <id> --task <id> --out workspace/out/evals/<label> 在改动前后以相同模型、相同任务运行，输出到指定目录。
-
阅读报告。每个输出文件夹包含 report.json、README.md（逐任务的失败检查、花费、耗时）以及 files/<task>/ 下的产物文件，需要打开文件实际查看。评分器检查输出、尺寸、文案和行为，但不评判审美——品味由人来判断。
-
汇报数据。报告应给出通过检查数、花费与耗时，并做前后对比；不得总结没有实际读过的运行结果。
-
沉淀失败案例。当实际对话中出现问题时，可参照相近任务在 tests/eval/tasks.json 中新增条目（请求、预期输出与尺寸、精确文案行、预算），然后运行 uv run pytest -q tests/unit/test_evals.py 校验。
限制与注意：评测会消耗模型和媒体费用。eval run 会打印预算，需向相关人员展示并获得同意。整套评测每个模型约 120 美元，少量任务只需数美元。评分器不判断审美，仍需人工评审。
适用场景：修改 Design Agent 的提示、技能或行为后，需要量化验证效果、避免回归，并把线上发现的失败转化为可重复评测任务时使用。