SuperAPI AI 工具集

jev-eval

测试与质量

查看项目

更新于 10-16 04:31

技能介绍

用途:jev-eval 用于对已有输出或观察到的行为做有证据支撑的评判,包括代码变更审查和经授权的安全评估。它不用于查找源码位置(jev-documents)或分配常规业务标签(jev-triage)。

主要能力:提供三种评估模式。代码审查读取 diff 与测试证据,套用代码审查模板,返回带来源 ID 和验证步骤的审查线索,而非合并批准。其他输出审查由用户定义评分标准,提供实际输出与支撑证据,并提出独立的结果与证据问题。经授权的安全评估按相关批次、多轮或团队协议进行,由研究者提供用例、授权框架调用目标、独立检查者验证结果;Jev 不生成攻击、不授予范围。

使用方式:先选定服务并保持一致。未设置时需询问:A 使用真实 Jev(OpenRouter 的 OPENROUTER_API_KEY 或 TypeSafe 的 TYPESAFE_API_KEY),B 使用本智能体或明确选定的可用模型(如 DeepSeek)进行模拟。等待同意,出错不授权切换,仅检查密钥是否存在、不读取值。真实调用会发送证据并产生费用,发送私有数据前需获批准。模式 B 跳过 CLI/API 调用,标记 agent_simulation 或 model_simulation,注明实际模型,设 jev_called: false、probability: null、confidence: null,返回取值、基于证据的理由和 needs_review。模式 A 使用现有 jev-decide CLI,指定 --provider openrouter 或 --provider typesafe;若缺失则说明依赖,不静默安装。--dry-run 是离线验证而非判断;退出码 0 表示已选择/评分,2 表示需审查,1 表示错误。Choice 使用给定标签,Noul 使用布尔值,Score 使用整数评分索引。

首次请求示例: jev-decide decide <skill-dir>/assets/example.json --dry-run

批准后,用所选 provider 发送编辑后的请求:

jev-decide decide /path/to/request.json --provider openrouter

共享 CLI 需要 Python 3.10+,无需同级技能。

适用场景:代码审查线索、按评分标准评判输出、经授权的安全评估转录评判。

限制:Jev 不继承智能体历史,每次判断需提供标准、实际输出、来源证据和缺失事实。审查线索不等于合并批准或意图证明。安全评估中主机负责目标授权与执行,本技能只评判提供的证据,不扩大测试范围。不得编造 Jev 输出或概率。