SuperAPI AI 工具集

design-ai-benchmarking

设计与创作

查看项目

更新于 10-15 16:51

技能介绍

用途:在正式采集数据之前,设计一项将AI系统与人类专家小组对照的基准研究,为评分量表、可靠性指标、裁判策略和数据结构提供预先规划。

主要能力:明确评估问题与各对比臂(输入、信息获取、输出格式需一致);设计解耦的多维评分量表,为每个量级点提供锚点描述并预设区分效度;植入盲化随机化的校准探针(阳性对照、已知劣质负对照、不稳定项、机制矛盾项);构建评分者小组并记录元数据、按评分者随机化条目顺序;设定评分者间信度目标,并区分“真实条目锚集上的信度”与“控制项的胜任力检查”——后者不能作为量表效度证据;在负担受限时使用锚定加轮换的评分者分配;选择human-as-judge、LLM-as-judge或两者结合并预设分歧裁决规则;设置构念独立与泄漏防护;锁定结构化JSON导出模式。

使用方式:按八个阶段推进,每个阶段含供用户确认的门禁;量表、探针、分配公式和导出模式分别参考技能目录下的 references 模板文件(如 elicitation_rubric_template.md、anchor_rotate_reader_allocation.md、benchmark_export_schema.json)。统计分析、报告规范、整体研究设计和同行评审分别交由 /analyze-stats、/check-reporting、/design-study、/peer-review 等处理。

适用场景:需要支持具体可检验主张(如“系统A输出与专家输出在感知上不可区分”)的基准设计,而非泛泛的“可部署”结论。

限制:评分、参考标签、探针结果和一致性统计只能来自已采集的评分记录,禁止凭空生成;参考文献须有经 /search-lit 确认的DOI或PMID,否则标注 [UNVERIFIED - NEEDS MANUAL CHECK];未确认的临床定义、诊断标准或指南推荐须标注 [VERIFY] 并向用户核实。具体收费、价格、平台支持等信息暂未提供。