用途:skill-up 面向 Agent Skill 作者,用于捕获与复核技能观察记录,并通过命令行创建、运行、诊断和迭代改进技能评测(evals)。适用于用户提出运行/评估/验证技能、依据失败改进技能、为技能补充测试或回归用例、编辑 eval.yaml 与 case.yaml、或从 Anthropic evals.json 迁移等场景。
主要能力:把技能安装到真实 Agent 引擎(Claude Code、Codex、qodercli 等),为每个用例启动执行环境,运行提示词,再按声明规则、LLM 评判或自定义脚本评分,最终生成报告。支持用 skill-up validate 校验配置、list-cases 列出用例、run 运行评测、report 重新渲染报告、import 转换 Anthropic 格式、init 生成用户配置模板、debug 调试评判与报告。
使用方式:先确认安装,执行 command -v skill-up && skill-up --version;未安装时在 macOS/Linux 使用 curl -fsSL https://raw.githubusercontent.com/alibaba/skill-up/main/install.sh | bash,并可设置 SKILL_UP_VERSION、INSTALL_DIR。典型目录为技能根目录下 SKILL.md 与 evals/eval.yaml、evals/cases/<case-id>.yaml、evals/fixtures。认证从 --api-key、环境变量或 ~/.skill-up/credentials.yaml 解析,切勿输出或泄露密钥。运行示例:skill-up run <skill-root>/evals/eval.yaml,可配合 --include-case-name、--exclude-case-name、--format html、--engine、--parallelism、--iteration 等参数;退出码 0 表示全部通过,1 表示失败或错误,适合 CI。
限制:目前仅支持 macOS/Linux,不支持 Windows;观察捕获模式需特定 Codex 版本配合 codex-skill-up 插件,或 DSH 启用对应插件,Claude Code、qodercli 等不适用于该观察流程(普通评测仍多引擎支持)。CLI 命令、eval.yaml/case.yaml 字段名等技术标识符须保持英文原样。其他细节暂未提供。