SuperAPI AI 工具集

bare-eval

测试与质量

查看项目

更新于 10-16 01:25

技能介绍

用途:Bare Eval 通过 claude -p --bare 运行隔离的评估与评分调用,适用于按断言给技能输出打分、触发分类(判断哪个技能匹配提示词)、描述优化迭代,以及任何不需要插件的脚本化 -p 调用。不适用于技能路由测试(需 --plugin-dir)、智能体编排测试(需完整插件上下文)和交互式会话。

前提:--bare 需要 ANTHROPIC_API_KEY(OAuth/keychain 被禁用),并需确认 claude --version >= 2.1.81。

主要用法:评分用 claude -p "$prompt" --bare --max-turns 1 --output-format text;触发分类用 --json-schema 与 --output-format json;流式评分用 --output-format stream-json,输出按行分隔的 JSON 事件,可增量打分或提前中止;优化可用 echo "$prompt" | claude -p --bare --max-turns 1 --output-format text;强制技能用 --print --append-system-prompt。长批次可设 CLAUDE_CODE_RETRY_WATCHDOG=1 提高重试上限。

集成与确定性:OrchestKit 的 eval 脚本会自动检测 ANTHROPIC_API_KEY 并加 --bare;CC 2.1.119 起 --print 遵循 agent 的 tools:/disallowedTools:;CC 2.1.121 起非交互路径支持 CLAUDE_CODE_FORK_SUBAGENT=1,为每次评分提供全新子智能体上下文,避免状态泄漏,保证同一评分器与样本重复运行得分一致。

性能:单次评分启动从约 3-5 秒降至约 0.5-1 秒,50 次完整评估开销从约 150-250 秒降至约 25-50 秒。

限制:--bare 直接计费 token,仅适合按需或 CI 使用;动态工作流模板 workflows/skill-fitness.js 成本约 50k tokens/技能,需显式传入批次;静态检查应先用 conformance-check.mjs 预过滤。更多细节见 references/invocation-patterns.md、grading-schemas.md、troubleshooting.md 与 rules/_sections.md。