SuperAPI AI 工具集

ai-watching-optimization

智能体与模型

查看项目

更新于 10-16 06:13

技能介绍

用途:在 DSPy 调用 optimizer.compile(program, trainset=trainset) 时监控优化进度,及早发现问题并判断何时停止,而不是无反馈地长时间等待。

可观察内容:随时间变化的分数、指令演化、成本累积、收敛模式、LM 调用与候选接受/拒绝决策。

主要方案: 内置零依赖方案:先跑 dspy.Evaluate 基线,再比较优化前后分数;GEPA 用 track_stats=True(注意默认为 False,结果在编译后程序的 optimized.detailed_results,不在优化器上);任意优化器可写 BaseCallback 的 on_evaluate_end 打印进度;inspect_history(n) 可事后查看最近 LM 调用。 GEPA 专用:pip install dspy-gepa-logger,注册 observer 后可看 Web 面板(实时分数、eval 表、prompt diff、事件时间线),依赖 Node.js 与 SQLite。 云端:pip install langwatch,langwatch.dspy.init(experiment="my-optimization-run"),支持 BFS/BRS/COPRO/MIPROv2,不支持 GEPA,需要 API key,有免费层。 本地面板:pip install mlflow,mlflow.dspy.autolog(log_compiles=True),用 mlflow ui 查看父子运行、指标与 trace。

解读要点:分数上升后平台化说明可停止;持续上升可继续;始终平坦可能是指标饱和、指标异常、搜索空间过窄或任务过于简单。用独立验证集判断过拟合:训练分上升而验证分持平或下降即为过拟合,可扩大训练集、减少预算、严格分离训练与验证集。同分多轮时可换更强反思模型、提高 MIPROv2 预设或增加示例。

限制:track_stats 在 GEPA 与 MIPROv2 中含义不同;LangWatch 不支持 GEPA;inspect_history 是事后而非实时;务必运行基线评估;其余未提供信息暂未提供。