SuperAPI AI 工具集

ai-improving-accuracy

通用与其它

查看项目

更新于 10-16 03:38

技能介绍

用途:引导用户测量 AI 程序的效果,并系统性地改进它,形成“定义好→测量→改进→验证”的循环。适用于 AI 给出错误答案、准确率差、响应不可靠、需要测试 AI 质量或评估的场景。

工作流程:先明确 AI 具体错在哪、是否有标注样本、如何判定答案为好、是否做过优化;若无标注数据,先参考 /ai-generating-data。

主要能力:定义指标(指标接收期望答案与 AI 答案并返回分数),包括精确匹配、归一化匹配、多字段部分得分、F1 文本重叠分,以及开放式任务用的 AI-as-judge(自定义 dspy.Signature 判断正确完整);支持用 trace 参数区分训练时更严格的要求。

使用方式:用 dspy.evaluate.Evaluate 在 devset 上跑评估,设置 num_threads、display_progress、display_table 等参数获取基线分;再按训练样本量选择优化器:少于 100 用 GEPA,20-50 用 BootstrapFewShot,50-200 先用 BootstrapFewShot 再 MIPROv2,200-500 用 MIPROv2 auto="medium",500+ 用 MIPROv2 auto="heavy" 或 BootstrapFinetune。可先 BootstrapFewShot 找样例,再 MIPROv2 优化指令。最后重新评估对比基线,用 optimized.save("optimized_program.json") 保存,用 my_program.load(...) 加载。

适用场景与限制:适合有标注样本、需要提升 DSPy 程序准确率的任务。优化器对模型有针对性,换模型需重新优化;优化出现瓶颈时可排查任务复杂度、数据量、指标与真实质量是否匹配、是否过拟合;应划分 trainset 与 devset,避免用同一数据训练和评估。

必要命令:npx skills add lebsral/DSPy-Programming-not-prompting-LMs-skills --skill <name>;安装 ai-do:npx skills add lebsral/DSPy-Programming-not-prompting-LMs-skills --skill ai-do