用途:按 apastra schema 快速脚手架生成 PromptOps 配套文件,覆盖提示词规格、数据集、评估器与套件,以及单文件快速评估。生成内容可通过校验。
主要能力与文件位置:
- 提示词规格:promptops/prompts/<id>.yaml,含 id(必需、唯一、kebab-case 且带版本后缀)、variables(必需)、template(必需,含 {{var}} 占位)、output_contract(可选、推荐)、metadata(可选)。
- 数据集:promptops/datasets/<id>.jsonl,每行一个 JSON 对象,含 case_id(必需、数据集内唯一)、inputs(必需,键需匹配提示词变量)、expected_outputs(可选)、metadata(可选)。冒烟集 5-10 条,回归集 50+ 条,建议含空输入、超长输入与对抗输入。
- 评估器:promptops/evaluators/<id>.yaml,id、type(deterministic/schema/judge)、metrics(至少一项)必需。deterministic 为规则检查,schema 校验输出结构,judge 由 AI 按 rubric 打分;judge 的 rubric 变更时应版本化。
- 套件:promptops/suites/<id>.yaml,id、name、datasets、evaluators、model_matrix 必需;model_matrix 可用 default。推荐分层:Smoke 每次编辑 5-10 条/1 次;Regression 合并前 20-50 条/3 次;Full 夜间或按需 50+/5 次;Release 发布前 100+/5 次。
- 快速评估(单文件):promptops/evals/<id>.yaml,含 id、prompt、cases,每条 case 有 id、inputs、assert,可设 thresholds 如 pass_rate。1-5 条用例、简单断言适合快速评估;10+ 条、可复用评估器、基线与回归检测用完整套件。
使用方式:向工具描述目标(如为新用例搭建提示词、为已有提示词加测试用例、创建评分规则、搭建套件,或生成快速评估),即按上述目录与格式生成对应文件。也可在数据集 JSONL 中直接写 assert 数组做内联断言,与独立评估器文件互补:内联用于单用例检查,评估器用于套件级评分规则。
断言类型:deterministic 有 equals、contains、icontains、contains-any、contains-all、regex、starts-with、is-json、contains-json、is-valid-json-schema;模型辅助有 similar、llm-rubric、factuality、answer-relevance;性能有 latency、cost;任意类型可加 not- 前缀取反。
限制:资料未提供安装命令、价格、平台与效果等细节。