SuperAPI AI 工具集

gcp-agent-golden-dataset-builder

测试与质量

查看项目

更新于 10-15 21:54

技能介绍

用途:该技能帮助开发者搭建数据驱动智能体开发的基础——Golden Dataset(黄金数据集),不仅验证最终答案,还关注“思考过程”(推理轨迹),用于评估智能体的行为质量。

主要能力:支持构建带工具轨迹的黄金数据集;可结构化评估数据以进行工具调用校验;可为特定智能体(如示例中的 Course Creator)创建评估模板。

数据格式:生产可用的数据集采用 .jsonl 格式,包含 prompt(用户输入)、reference(用于语义 ResponseMatch 的基准答案)、reference_trajectory(预期工具调用列表,用于检查智能体是否以正确顺序使用正确工具)。轨迹中使用 tool_name 与 tool_input;实现可参考 examples/trajectory_dataset.jsonl。

使用方式:通过自然语言指令驱动,例如“Build a golden dataset with tool trajectories”“Structure my evaluation data for tool call validation”“Create a template for my Course Creator agent evaluation”。

限制:资料未提供安装命令、收费与价格、平台支持、具体效果或详细操作步骤,这些信息暂未提供。