SuperAPI AI 工具集

experiment-tracker

通用与其它

查看项目

更新于 10-15 19:57

技能介绍

用途:把零散的机器学习实验变成有组织、可复现的研究记录。每次实验的参数、指标、产物都会记录,并与 SpecWeave increment 绑定,避免“用了哪些超参数”“为什么选某个模型”“三个月前的结果无法复现”等问题。

主要能力:自动检测并配置追踪工具;支持三种后端——SpecWeave 内置(默认零配置,写入 increment 的 experiments 目录)、MLflow、Weights & Biases;提供实验对比并生成 comparison.md 表格;支持超参数网格追踪、交叉验证逐折追踪、产物管理(模型、图表、特征重要性、环境文件等)、实验元数据(标签、git commit、数据版本、作者);可通过 /sw:sync-docs update 把实验结论同步到 living docs。

使用方式:在 ML increment 中调用 from specweave import track_experiment,用 with track_experiment("名称") as exp 包裹训练代码,再调用 exp.log_param、exp.log_metric、exp.save_model 等;MLflow 用 configure_mlflow(increment="0042"),W&B 用 configure_wandb(increment="0042");对比用 compare_experiments(increment="0042")。命令包括 /ml:list-experiments、/ml:compare-experiments、/ml:show-experiment、/ml:export-experiments。

适用场景:需要系统追踪实验、客观比较多个模型、为团队记录选型理由、精确复现历史结果、跨 increment 维护实验历史的 ML 项目。

限制:资料未提供具体安装命令、收费与价格、平台支持范围及性能数据;示例代码依赖 SpecWeave 及其 API,实际可用性需以官方文档为准。