generate-synthetic-data
generate-synthetic-data 是一个用于为 LLM 流水线评估生成多样化合成测试输入的方法型技能,基于维度与元组(dimension-based tuple generation)的方式构建测试用例。它适用于在启动评估数据集、真实用户数据不足或需要覆盖失败空间时使用。核心流程包括:先识别流水线可能失败的环节,定义针对预期失败的维度;与用户共同起草约 20 个元组并迭代确认;再用 LLM 批量生成更多元组;随后将每个元组转换为自然语言查询;过滤低质量结果;最后将查询跑通完整流水线并捕获完整轨迹,目标约 100 条高质量多样化轨迹。该技能还提供对真实用户数据的分层采样建议,以及需要避免的反模式,例如无结构生成、单步生成、任意维度、跳过用户审核等。