用途:Apastra 把 AI 提示词当作可版本化的软件资产,提示词、测试用例与评分规则都以文件形式存放在仓库中,由 IDE 智能体在本地运行评测、与基线对比并捕捉回归。该技能用于在任意项目中完成提示词版本化与评测的初始搭建。
主要能力:支持提示词规格(id、variables、template、output_contract、metadata)、JSONL 测试用例、评测器(deterministic、schema、judge 三类)、套件(关联数据集、评测器、模型矩阵与阈值),以及单文件快速评测。
使用方式:先创建目录结构,命令为 mkdir -p promptops/prompts promptops/datasets promptops/evaluators promptops/suites promptops/schemas promptops/policies derived-index/baselines derived-index/regressions。随后在 promptops/prompts/ 创建提示词 YAML,在 promptops/datasets/ 创建 JSONL 用例,在 promptops/evaluators/ 创建评测器,在 promptops/suites/ 创建套件,然后让智能体运行评测,例如“Use the eval skill to run the summarize-smoke suite”。也可用 promptops/evals/ 下的单文件快速评测,让智能体“Run the summarize-quick eval”。
适用场景:需要在本地对提示词做冒烟测试、回归检测与基线管理的项目。
限制:资料未提供具体收费、价格、平台支持范围与效果数据;升级 CI 需安装 setup-ci 技能,命令为 npx skills add BintzGavin/apastra/skills/setup-ci。