SuperAPI AI 工具集

iterate

通用与其它

查看项目

更新于 10-15 21:06

技能介绍

用途:为工作流建立反馈循环,使其从一次性尝试变为可收敛、可靠的系统,适用于需要自我纠错、随时间改进或建立评估周期的场景。

主要能力:定义质量标准(如准确性、完整性、格式、语气,含权重与阈值);选择评估器类型(规则校验、自检、跨模型评估、人工介入或混合);设计修正循环(生成→评估→打分,未达标且未超最大次数时,将评估反馈注入输入后重试);设置回归检测(用黄金测试集对比新旧配置,改进≥5%接受、回退≥5%拒绝);生产环境持续监控(抽样1%–5%自动评估、跟踪质量分数、趋势告警、A/B 测试)。

使用方式:资料要求先调用 /agent-workflow,遵循其中的工作流原则、反模式与 Context Gathering Protocol;若尚无工作流上下文,必须先运行 /teach-maestro。可参考 agent-workflow 技能中的 feedback-loops 参考。完成反馈循环后,建议运行 /evaluate 用真实场景验证,再用 /refine 做最终打磨。

限制与禁止事项:不得用完全相同的输入重试;不要用同一个弱模型同时生成和评估;必须设置最大尝试次数以避免无限循环;未经黄金测试集回归测试不得部署变更;不能只监控错误,还要跟踪质量分数随时间的变化。

资料未提供具体安装命令、价格、平台支持或代码实现细节。