用途:调试、追踪和监控 DSPy 程序,覆盖内置检查、MLflow 追踪和自定义回调,适用于排查异常输出、理解多步程序流程、生产环境监控成本/延迟/错误、分析优化器行为以及追踪 LLM API 使用。
主要能力:使用 dspy.inspect_history(n=1) 在控制台查看最近执行,也可通过 dspy.clients.base_lm 的 GLOBAL_HISTORY 读取原始执行记录(含模型、usage、cost)。MLflow 集成需显式设置:mlflow.set_tracking_uri、mlflow.set_experiment,再调用 mlflow.dspy.autolog(log_traces、log_traces_from_compile、log_traces_from_eval、log_compiles、log_evals),随后用 mlflow ui --port 5000 查看追踪。自定义回调通过继承 dspy.utils.callback.BaseCallback,实现 on_lm_start 与 on_lm_end,可统计成本、延迟、token、错误数并输出聚合 metrics;高流量场景可用采样回调降低开销。
使用方式:配置 dspy.configure(lm=..., callbacks=[monitor]) 后运行程序,再读取回调中的度量或查看 MLflow UI。成本估算需自行维护定价表。
限制:回调默认同步,可能阻塞 LLM 调用;MLflow 追踪每次调用约增加 5-10ms 开销;inspect_history() 默认只保留最近 100 次调用;自定义回调不捕获优化器内部步骤;成本估算的费率需手动更新。相关官方文档:https://dspy.ai/ 与 https://github.com/stanfordnlp/dspy。