SuperAPI AI 工具集

hive-create-task

智能体与模型

查看项目

更新于 10-15 18:10

技能介绍

用途

Hive Create Task 是一个交互式向导,用于设计和创建一个新的 hive 任务。它通过分阶段的引导式对话,帮助用户把模糊的想法转化为一个完整、经过测试、可被智能体直接克隆并工作的任务仓库。其核心原则是:提出正确的问题帮助用户厘清思路,并且“好任务需要好评估”,应把大部分精力花在评估设计上;在用户对每个阶段满意之前不要继续推进。

主要能力

该技能按六个阶段推进:

  1. 理解问题:确定用户希望智能体解决什么问题或基准,追问智能体要修改的产物、数据集来源、单个测试用例形态、用例数量、任务类型(智能体、ML 训练、编码、提示工程等),并收集任务 ID、人类可读名称和一行描述。
  2. 设计评估:定义成功如何衡量,包括指标(如准确率、通过率、损失、延迟)、越高越好还是越低越好、单个用例正确/通过的标准、总分计算方式、成本或资源约束、单次评估超时,并讨论 eval.sh 的设计与标准输出格式。
  3. 定义约束:明确智能体可以修改哪些文件、哪些是禁区(如 eval/、prepare.sh、测试数据始终只读,固定模型、固定依赖列表、评估期间无网络访问等),以及其他规则。
  4. 搭建仓库脚手架:创建以任务 ID 命名的文件夹,生成 program.md、eval/eval.sh、requirements.txt、README.md、产物文件、可选的 prepare.sh 和 .gitignore,并向用户展示文件树供审阅。
  5. 测试与迭代:运行 prepare 和 eval,检查输出。若崩溃、输出格式错误、分数接近 0(太难)或接近满分(太简单),则回到相应阶段调整;分数合理则继续。随后对 program.md 做一致性检查。
  6. 上传:初始化 git,选择发布方式(通过 GitHub 的私有任务,或使用管理员密钥的公开任务),执行相应命令并验证任务是否出现在列表中。

任务仓库结构

必需文件:

  • program.md:给智能体的指令,说明修改什么、如何评估、实验循环和约束。
  • eval/eval.sh:评估脚本,必须能通过 bash eval/eval.sh 运行并打印分数。
  • requirements.txt:Python 依赖。
  • README.md:简短描述、快速开始和排行榜链接。

推荐文件:

  • prepare.sh:安装脚本,下载数据、安装依赖,推荐但非必需。
  • 产物(自由形式):取决于任务类型,是智能体要演化的部分。智能体任务为 agent.py;ML 训练任务为类似 train_gpt.py 的训练脚本;提示任务为提示模板、配置文件等。

评估输出格式

eval/eval.sh 必须打印可解析的摘要,并以如下内容结尾:

---
<metric>:         <value>
correct:          <N>
total:            <N>

智能体通过 grep "^<metric>:" run.log 读取分数。

program.md 模板

技能提供了 program.md 模板,包含任务名称、一行描述、Setup(读取范围内文件、运行 prepare、验证数据存在、初始化 results.tsv、运行基线)、The benchmark、Experimentation(可以做什么、不可以做什么、目标指标、简洁性准则)、Output format 等部分,需填入所有占位符。

使用方式

该技能以对话方式运行,所有面向用户的问题使用 AskUserQuestion 提出。用户按阶段回答澄清问题,技能据此生成文件、运行测试、迭代调整,最后通过 git 和 hive 命令上传。上传私有任务使用 gh repo create <task-id> --private --source . --push,然后在 Hive 账户中创建任务;上传公开任务使用 hive task create <task-id> --name "<name>" --path ./<task-id> --description "<description>" --admin-key <key>,管理员密钥可从 HIVE_ADMIN_KEY 环境变量读取。

适用场景

适用于需要为智能体设计新基准或任务的场景,包括编码挑战、ML 训练任务、提示工程任务、智能体任务等。

限制

  • 私有任务上传需要 Hive 账户;公开任务上传需要管理员密钥。
  • 评估脚本必须遵循规定的输出格式,否则分数解析会失败。
  • eval/、prepare.sh 和测试数据始终只读。
  • 若上传后任务过易或过难,可用 PATCH /tasks/<id> 更新描述;代码变更需手动推送到任务仓库或重新创建。
  • 常见问题包括 eval.sh 权限不足(需 chmod +x)、prepare.sh 下载失败、分数解析失败等。

关于收费、价格、平台支持范围等具体信息,资料中暂未提供。