SuperAPI AI 工具集

paperclip-evals

测试与质量

查看项目

更新于 10-16 03:15

技能介绍

用途:当请求涉及 Paperclip 评测的选择、解读、证据、历史或实机运行时使用本技能。先阅读 Paperclip 仓库中的 doc/evals.md,其中定义了两类评测及其边界。

定位仓库:不要假设技能安装位置就在检出目录内。用 git rev-parse --show-toplevel 从当前目录定位仓库,或检查可能的工作区根目录,选择包含 package.json、tests/runner-e2e 和 packages/paperclip-runner 的检出。仅当 Runner Eval 需要其定义时,才定位私有的同级 paperclip-evals,使用显式 PAPERCLIP_EVALS_ROOT 或发现的同级检出。不要凭空构造从该技能副本指向仓库的相对路径。

路由请求:Runner Evals 针对 mock 控制平面验证真实 runner/provider 协议行为,权威细节见 packages/paperclip-runner/docs/runner-protocol-live-evals.md 及同级 paperclip-evals/evals/paperclip-runner 定义。Product E2E Evals 针对真实浏览器/服务器/数据库/runner/provider 工作流,含本地与 Daytona 环境,依次阅读 tests/runner-e2e/README.md,再按需读 FIXTURES.md、SECURITY.md 或 EVERYDAY-WORKFLOWS.md。Everyday Workflows 即使导入 Evalbook 仍属 Product E2E;“Headless”是浏览器模式而非评测家族。

安全操作:先做只读目录检查与免凭证验证。Product E2E 使用 pnpm test:e2e:runner:typecheck、pnpm test:e2e:runner:unit 和 pnpm test:e2e:runner -- --list;仅当用户授权实机/付费运行且所需凭证与不可变 Daytona 镜像已配置时,才运行单个明确单元格。Runner Evals 使用固定评测修订版及文档化工作流/CLI。不得用部分选择器作为完整覆盖的证据。

记录与分类:每次解读都附带源修订、定义/目录指纹、模型/配置、环境、所选单元格、重试、计时、用量/成本覆盖与评分器版本。保留部分尝试,并按观察到的失败与受支持原因将失败分类为产品、模型/provider 行为、评分/证据或基础设施。可用的已完成行为失败不算基础设施;缺少 provider/配置、传输、启动或证据时需先检查证据再定因。

使用现有家族生成器与查看器。公开投影可含脱敏夹具对话与白名单工具结果/证据,遵循该家族的投影与发布检查。不得暴露原始可信工件、凭证、密钥、私有数据、provider 会话 ID 或隐藏推理。从保留证据刷新为零 provider 调用,仍是原始测量,仅换新呈现。报告结果时链接 doc/evals.md 中的公开历史与 hub。新增用例或夹具请用更窄的 add-runner-eval 或 add-product-e2e-eval 技能。