SuperAPI AI 工具集

isd-agent-bench-comprehensive-benchmark-evaluating

智能体与模型

查看项目

更新于 10-16 06:50

技能介绍

用途:指导构建与评估自动完成教学设计(ISD)的 LLM 智能体,核心采用 ADDIE 五阶段(分析、设计、开发、实施、评估)框架。

主要能力:提供 Context Matrix 场景生成方法,将 5 类共 51 个情境变量(学习者特征、机构情境、教育领域、交付模式、约束)与 ADDIE 派生的 33 个子步骤交叉,生成多样化测试场景;五阶段流水线含种子收集、分层抽样、LLM 内容生成、两层质量控制与定向增强。提供 React-ADDIE 架构:每个 ADDIE 阶段封装为单次工具调用而非 14 个细粒度子步骤工具,阶段内推理交由 LLM 原生处理;资料称粗粒度(5 工具)表现优于细粒度(14 工具),86.49 对 82.96。提供多评审评估协议:使用来自不同提供方的多个评审模型(如 GPT-4o、Gemini、Solar)取中位数,两阶段打分(先类别状态后限定数值),各阶段权重为分析 25%、设计 25%、开发 20%、实施 15%、评估 15%。

使用方式:定义 5 个阶段级工具函数 analyze、design、develop、implement、evaluate,将 33 个子步骤写入各阶段提示词而非拆成独立工具;对每个阶段执行 ReAct 循环,生成 thought、调用阶段工具、观察结果,并将累积历史传入后续阶段。评估时按 ADDIE 评分表(占 70%)与智能体轨迹(占 30%)打分,采用多评审中位数聚合。

适用场景:生成课程、培训项目、教案;对 LLM 生成的教学材料做结构化评分;构建遵循多阶段方法论的 ReAct 智能体。

限制:ADDIE 较重,非正式或微学习内容可仅用分析与设计阶段;多评审评估需每项每条 3 次以上 API 调用,成本随场景数线性增长(资料称全文评估约 108K 次评审调用、约 8900 美元);Context Matrix 未覆盖军事、应急、艺术学徒等细分场景;结果在 GPT-5-mini、Gemini-3-Flash、Solar-Pro3 上验证,较弱模型可能表现不同。