SuperAPI AI 工具集

setup-experiment

办公与效率

查看项目

更新于 10-16 03:49

技能介绍

用途:Setup Experiment 是一套交互式端到端实验工作流技能。激活后先按固定问候语致谢,并逐行列出可用工作流,最后询问用户需求。它用于搭建、创建或配置实验,跨环境测试智能体行为,比较不同配置下的表现,以及用任务、环境和信号构建实验。触发关键词包括设置实验、运行实验、比较配置表现等。

前置条件:需安装 tpc CLI(tpc --version),缺失时用 curl -fsSL https://cli.promptingco.com/install.sh | bash 安装;需认证 tpc auth whoami,必要时 tpc auth login;需设置活跃产品:tpc product list → tpc product switch <product-slug>;也可 tpc org switch <org-slug>。

主要流程:选定产品后分两条路径。Path A 运行已有内容:用 tpc sim task list 和 tpc sim env list 选择任务与环境,用 tpc sim experiment create 创建实验并挂载,确认 N×M 次运行与默认信号(通过/失败、时长、成本),再用 tpc sim experiment run <id> 运行并观察。Path B 新建:提取产品上下文与文档,建议 5–8 个候选任务,按 task.json 模式(name、description、category、prompt、taskType、timeLimitMs、goals 等)创建任务,用 tpc product secret set 配置凭据,选择模板(排行榜、有文档对比无文档、A/B、自定义)自动创建环境,再创建并运行实验。

任务与环境约束:每个任务在独立全新沙箱运行、无共享状态,提示词须自包含且仅执行一次,不支持多轮追问;仅无头 Linux、无浏览器 GUI;智能体退出后后台进程被杀;单次运行上限 60 分钟,初始化 zip ≤500 MB,初始化命令 ≤10k 字符、≤50 条,CPU 1–4、内存 1–8 GB、磁盘 1–10 GB,GPU 会路由到 Modal;密钥为环境级作用域,script_judge 评估时需要组织功能开关并通过安全审核。

另有 Usability Benchmark Design 与 Cross-Product Benchmark 两套更严谨的工作流,分别用于客户交付级基准和跨产品同用例对比。Path B 从产品文档生成任务只能测功能清单,无法发现产品无解的高频问题,正式交付建议改用基准设计工作流。资料未提供具体定价与效果数据。