SuperAPI AI 工具集

apastra-validate

智能体与模型

查看项目

更新于 10-15 20:06

技能介绍

用途:在运行评估前校验 PromptOps 文件,捕获格式错误、缺失必填字段和非法取值,也可用于排查评估运行失败的原因。

主要能力:扫描 promptops/ 目录,按文件类型匹配对应 schema:prompts/.yaml 或 .json 对应 Prompt Spec,datasets/.jsonl 对应逐行 Dataset Case,evaluators/.yaml 或 .json 对应 Evaluator,suites/.yaml 或 .json 对应 Suite,evals/.yaml 对应 Quick Eval,policies/*.yaml 对应 Regression Policy。校验内容包括必填字段、字段类型、断言类型合法性、case_id 唯一性、trials 与 pass_rate 取值范围等,并做交叉引用检查,如套件引用的数据集与评估器是否存在、数据集 inputs 键是否匹配提示词变量。

使用方式:对目标文件逐个校验后输出报告,区分通过、警告和错误,并给出汇总。若项目存在 promptops/validators/ 下的 shell 脚本,可运行严格 JSON Schema 校验,例如 bash promptops/validators/validate-prompt-spec.sh <file.json>、bash promptops/validators/validate-suite.sh <file.json>、bash promptops/validators/validate-evaluator.sh <file.json>,这些脚本依赖 npx ajv-cli,并针对 promptops/schemas/ 中的 schema 校验。

适用场景:脚手架生成后或手动编辑后检查拼写与结构;评估运行前提前发现会导致失败的问题;调试评估失败原因。

限制:警告为非阻塞但建议修复,错误会导致评估失败;shell 校验器需项目已提供且需 npx ajv-cli。其他收费、平台与效果信息暂未提供。