SuperAPI AI 工具集

workflow-from-eval

智能体与模型

查看项目

更新于 10-16 09:50

技能介绍

用途:当用户只描述业务问题(如“这是工厂视频,帮我检测装配错误”),尚未选定 Workflow 架构、模型或方案时,用评测驱动的搜索来构建或改进 Roboflow Workflow。用户无需了解 Spec、Case、执行等术语,只需描述任务、查看示例并给出对错反馈。

主要流程:预检调用 workflow_evals_capabilities、workflow_evals_agent_manifest,并读取 skill:workflow-evals 与 skill:create-eval;查是否已有同名 <slug>-eval 并复用;建立本次工作目录 ./opt-<slug>-<timestamp>/,用 created.json 登记所有资源。随后依次为:理解任务并写 Goal Card;构建首个 Workflow 与答案键草稿;静默建立测试集与评分标准(Eval,建议 30 至 60 个示例,单一取值少于 5 个示例需说明覆盖不足);生成 20 至 40 个差异明显的候选并冒烟测试、联合评分、逐轮调优与淘汰;最后在新示例上验证并交付冠军方案。

关键能力:端口化的检查点(Goal Card、评分卡与候选、优胜者、清理)需用户确认后再继续;评分仅依据 Eval 结果,差异小于噪声带视为并列;测试集只增不减,验证靠新增未见示例;所有预览以带答案的接触印相图呈现,不提供仅有文件名的表格。

使用方式与限制:候选数量上限 60,单次 Run 最多 100 次执行,重试与预算需按约定;延迟测量会禁用执行复用,故不放入搜索 Spec;视频按逐帧评分,不验证有状态的时序事件;Roboflow Agent 默认关闭,即便开启也不得用它构建或保存本会话的 Workflow。收费、价格与具体平台支持范围暂未提供。