SuperAPI AI 工具集

setup

写作与研究

查看项目

更新于 10-15 16:48

技能介绍

用途:为 autoresearch 创建新实验并完成所需配置。

主要能力:支持交互模式与参数模式。交互模式会依次询问领域(engineering、marketing、content、prompts、custom)、实验名称、要优化的目标文件(并验证是否存在)、评估命令、评估输出的指标、指标是越低越好还是越高越好、可选评估器,以及存储范围(项目 .autoresearch/ 或用户 ~/.autoresearch/)。参数模式直接把参数传给脚本:python {skill_path}/scripts/setup_experiment.py --domain {domain} --name {name} --target {target} --eval "{eval_cmd}" --metric {metric} --direction {direction} [--evaluator {evaluator}] [--scope {scope}]。

列出功能:python {skill_path}/scripts/setup_experiment.py --list 显示已有实验;--list-evaluators 显示可用评估器。

内置评估器:benchmark_speed(p50_ms,越低越好,函数/API 执行时间)、benchmark_size(size_bytes,越低越好,文件、打包产物、Docker 镜像大小)、test_pass_rate(pass_rate,越高越好,测试通过率)、build_speed(build_seconds,越低越好,构建/编译/Docker 构建时间)、memory_usage(peak_mb,越低越好,执行峰值内存)、llm_judge_content(ctr_score,越高越好,标题、描述)、llm_judge_prompt(quality_score,越高越好,系统提示、智能体指令)、llm_judge_copy(engagement_score,越高越好,社交帖子、广告文案、邮件)。

设置完成后会报告实验路径与分支名、评估命令是否可用及基线指标,并建议运行 /ar:run {domain}/{name} 开始迭代,或 /ar:loop {domain}/{name} 进入自主模式。

限制:资料未提供安装方式、依赖要求、收费与平台支持等信息。