SuperAPI AI 工具集

ai-tracking-experiments

智能体与模型

查看项目

更新于 10-15 23:58

技能介绍

用途:当已运行多次优化实验(通常 5 次以上),需要对比哪个实验最好、复现历史结果或向他人解释选择依据时使用。若只跑了 1-2 次实验,或还在迭代程序本身,或只需优化一次后部署,则不必使用(后者可参考 /ai-improving-accuracy)。

主要能力:用 JSONL 文件做轻量记录,每行一次运行,记录名称、优化器及其配置、模型、训练/验证集大小、指标、得分、基线、提升幅度、成本、耗时、产物路径与备注;提供对比表打印、按优化器/模型/最低分筛选、以及将胜出实验的 .json 产物复制到生产路径并记录提升事件(promotions.jsonl)。团队场景可接入 W&B Weave(pip install weave,weave.init 后运行)或 LangWatch(pip install langwatch)查看仪表盘与实时优化进度。

使用方式:定义 log_experiment 与 load_experiments 写入/读取实验日志;用 run_experiment 模板执行一次完整实验(配置 LM、评估基线、调用 optimizer.compile、再次评估、保存产物并记录日志);批量运行后用 compare_experiments 查看排序表,用 promote_experiment 提升最佳实验,生产代码中通过 program.load("production/optimized.json") 加载。

限制与注意:DSPy 不会自动上报 API 成本,需手动记录;不同 devset 上的分数不可比较,所有实验须用同一 devset;不保存 optimized.save(path) 会导致实验无法复现;MIPROv2 的 auto 默认是 light 而非 medium;GEPA 的 metric 只能在构造函数传入,传给 compile() 会报 TypeError。安装方式:npx skills add lebsral/DSPy-Programming-not-prompting-LMs-skills --skill <name>。