用途:指导为 DSPy 配置 W&B Weave,追踪 DSPy 调用、记录优化实验并在团队仪表盘协作。Weave 是 Weights & Biases 的 LLM 可观测性与实验追踪产品,提供云端仪表盘,用于追踪函数调用、对比优化运行并共享结果。
主要能力:云端托管仪表盘(wandb.ai);手动埋点,使用 @weave.op() 装饰器(非自动埋点);团队协作,支持共享项目、评论与运行对比;追踪函数输入、输出、延迟与成本;擅长并排对比优化实验。
使用方式:安装 pip install weave;初始化 import weave 后调用 weave.init("my-dspy-project"),首次运行会提示登录,或设置 WANDB_API_KEY 环境变量;可选设置 WANDB_ENTITY、WANDB_PROJECT。用 @weave.op() 装饰需要追踪的函数,每个函数单独装饰;weave.init() 应在启动时调用一次,且位于被装饰函数调用之前。在 wandb.ai 打开项目,进入 Traces 标签查看调用,按分数排序对比运行,并分享仪表盘链接。
适用场景:团队已使用 W&B 做 ML 实验;需要云端仪表盘与团队协作;需要并排追踪和对比优化运行;需要对追踪哪些函数进行细粒度控制。
限制与注意:Weave 为手动装饰器方式,需逐函数添加,设置成本高于自动埋点方案;不提供本地/自托管;不适合需要零代码自动埋点、免费本地追踪查看器或完整 ML 生命周期(模型注册、部署)的场景。@weave.op() 应装饰调用模块的函数而非 DSPy 模块类;与其他装饰器组合时应置于最外层;非本地部署需显式设置 WANDB_API_KEY。若调用未出现在仪表盘,检查 API Key、init 调用顺序与网络访问。具体收费与价格资料暂未提供。