SuperAPI AI 工具集

sf-eval

测试与质量

查看项目

更新于 10-15 19:49

技能介绍

用途:评估 Salesforce 技能是否提升 AI 生成代码的质量,通过对比“无技能上下文”与“有技能上下文”两种生成结果并分别打分。

主要能力与模式:

  1. 基准任务:输入 /sf-eval 或 /sf-eval <task-id>,从 evals/benchmarks/tasks.json 读取任务。先按通用 AI 方式生成基线代码,再读取 skills/<skill>/SKILL.md 及其引用生成技能版代码,最后依据 evals/benchmarks/rubric.md 与 judge-prompt.md 打分。评分维度为 Security、Governor Limits、Bulkification、Patterns、Completeness,各 0-5 分,满分 25。输出对比表并给出提升点数与百分比;运行全部任务时输出汇总表,完整报告保存到 evals/benchmarks/results/BENCHMARK.md。
  2. 静态检查:输入 /sf-eval --check <file> 或 /sf-eval check <file>,运行 bash evals/checks/static-checks.sh <file> 并展示结果。
  3. 自定义代码评分:对用户提供的代码按同一 25 分标准评分,并引用相关技能给出改进建议。

基准任务覆盖 Apex 触发器批量、Batch Apex、REST API、Callout 服务、测试类、HttpCalloutMock、SOQL 查询与动态搜索、LWC 记录列表、Flow 自动化、安全审计、元数据生成、CI/CD、数据迁移、平台事件等。

限制:基线生成需刻意采用通用 LLM 写法(如 public class、跳过 WITH USER_MODE 与 stripInaccessible、逻辑直接写在触发器内等),以体现无领域知识的典型输出;具体安装与运行环境要求资料未提供。