SuperAPI AI 工具集

evaluation-design

设计与创作

查看项目

更新于 10-16 09:32

技能介绍

用途:为输出为响应的AI系统(助手、对话智能体、检索增强应用)设计评估数据集与配套文档,衡量系统能否完成本职工作、按需拒答,并在压力下保持可接受行为。数据集被视为长期客户产物,其范围、平衡与理由需记录而非默认。

主要能力:按访谈参考逐题开展范围访谈(一次一问,不批量合并),先给出结构化摘要并获明确确认;据确认范围推导难度分布并按风险调整默认值;按契约模板生成机器可读的JSON与CSV数据集;用校验脚本核对;抽样走查并收集反馈后修订;产出一个分节评估指南,含整理说明、指标选择理由与工具建议;必要时通过当前评估器研究获取最新评估器名称、可用性、预览状态与平台兼容信息。

使用方式:先读访谈与评审文档完成范围界定;用 uv run python scripts/validate_evaluation_dataset.py --json <dataset.json> --csv <dataset.csv> 校验机器事实;每对记录类别、难度、期望行为及相关工具;拒答与安全用例需写明应执行的具体动作;所有持久化写入需经工作流扫描关卡。

适用场景:对话与检索类AI系统的评估集建设及文档化。训练模型的预测性能评估属其他职责范围。

限制:访谈摘要未经确认不得生成数据集;不得编造接地来源内容;不得包含真实客户数据、凭据与个人信息;外部评估器目录非冻结状态;不得代替评委勾选人工评审框;扫描关卡不可用或报高风险时停止写入。其他信息暂未提供。