用途:当已有智能体规格说明与权威数据源、但缺少有代表性的请求与追踪时,用该流程生成合成评测数据。它针对已有应用生成请求,不创建应用的数据库、政策或期望结果。
输入:智能体规格说明文档的路径(说明范围、角色、权限、工具契约),以及可查询以计算期望结果的数据库或语料(如含订单与资格函数的 SQLite 数据库)。
主要概念:维度是请求间的一类变异来源,如用户角色、意图、订单状态、请求难度;元组为每个维度取一个值,模型据此起草自然请求;场景为一次计划的请求加上运行所需上下文,以及可能的期望结果。
流程:先读规格并提出 5 至 8 个任务相关维度,在生成前向人展示;建立覆盖集与挑战集,挑战集来自困难但有效的组合,而非仅因模型在某个具体请求上失败;每个元组起草一条自然开场消息,多轮场景的 followups 字段放用户原话;检查重复、不真实措辞与缺失维度;将场景标记为 coverage 或 challenge;从真实依据(SQL 查询或确定性资格函数)计算期望结果,模型断言不算依据,无法确定时标记为待人工判断;先用 30 个场景在所选模型上试点,确认失败并找出相关维度,失败过少可换同厂商能力较低的模型;再由困难维度生成新挑战场景并保留覆盖集;以 JSONL 输出,每行一个场景。
输出与限制:schema 含 id、scenario_group、data_quality_case_id、tuple、opening_message、followups、expected;objective 情形的 expected.source.type 为 sql、eligibility_function、policy_document 或 data_quality_table;需人工判断时用 human_judgment 并提供 criterion 与来源;模型回应不能作为期望结果来源。试用时限、收费、支持平台等资料暂未提供。