SuperAPI AI 工具集

ai-eval-playbook

通用与其它

查看项目

更新于 10-15 21:50

技能介绍

用途:回答关于如何评估生成式 AI 工具与产品的问题,依据公开的 AI Evaluation Playbook(https://eval.playbook.org.ai/ ,由 The Agency Fund 联合 CGD 与 IDinsight 维护,按季度发布)。该技能本身是活文档的稳定索引,不是内容本体,缓存摘要仅供定位。

主要能力:提供四级评估框架的定位——L1 模型(系统是否按预期运行,AI 工程师/ML 研究者)、L2 产品(是否吸引并留住用户,PM/数据科学家/UX 研究者)、L3 用户(是否改变想法、感受、知识与行为,行为科学家/M&E 专家)、L4 影响(发展成果是否改善,影响评估者/经济学家);四级是循环而非线性,L1 单独不构成评估,L2 优化的是成功所需时间而非使用时长。还给出最小可行评估(MVE)的定位:L1 为 2–3 个带阈值的评分维度 + 30–50 条黄金数据集条目 + 至少 1 个安全指标 + 专家评审;L2 为参与/留存追踪 + 有用/无用信号;L3 为每周 10 条对话日志专家评审 + 1 个近端结果;L4 为样本充足的对照设计 + 版本控制 + 成本数据。

使用方式:先读本地 mel_wiki/wiki/frameworks/ai-evaluation-playbook.md;若涉及 SRHR,同时应用 ai-srhr-mel-framework.md。抓取实时内容优先 WebFetch 规范 URL,重定向时用 ctx_fetch_and_index;窄查询可用 ?ask= 端点,例如 https://eval.playbook.org.ai/model-behaviour/level-1-module-evaluation/overview.md?ask=what+is+a+golden+dataset ;被拦截时用 claude-in-chrome 兜底。避免旧 GitBook-ID 路径,使用语义路径;/user-expereince 已重定向到 /user-experience。作答需注明哪些来自实时页面、哪些来自缓存,并按读者类型调整(资助方、M&E、工程师/PM、实施人员)。

限制:缓存内容仅为定位,引用 MVE 等具体内容前须抓取对应页面;实时页面与缓存或 wiki 冲突时以实时页面为准并记录待核验;子页面 404 时抓取栏目根页并标记失效路径;评估本身资源密集,应帮助读者判断其阶段所需的足够程度,而非一律推荐最大方案。具体收费、价格与平台支持情况暂未提供。