用途:为 DSPy 程序接入 Langfuse 开源 LLM 可观测性平台,自动追踪 LM 调用、检索、模块执行与完整调用树,并在追踪之上叠加评估、评分与人工标注。
主要能力:自动捕获提示词、响应、token 数、延迟与成本;记录检索查询、段落与相关性;按模块步骤记录输入输出;支持 NUMERIC、CATEGORICAL、BOOLEAN、TEXT 四类评分;提供标注队列、实验对比、会话分组与环境区分。
使用方式:安装 pip install langfuse dspy openinference-instrumentation-dspy -U,配置 LANGFUSE_PUBLIC_KEY、LANGFUSE_SECRET_KEY、LANGFUSE_BASE_URL(区域端点如 us.cloud.langfuse.com、cloud.langfuse.com、jp.cloud.langfuse.com、hipaa.cloud.langfuse.com 或自托管地址)。先调用 DSPyInstrumentor().instrument(),再 dspy.configure(),之后正常运行 DSPy 模块即可被追踪。可用 @observe() 与 propagate_attributes() 附加 user_id、session_id、tags、metadata、version;短生命周期脚本需调用 langfuse.flush() 或 langfuse.shutdown()。
适用场景:需要追踪加内置评估与评分、人工标注队列、提示词版本实验对比、多轮应用会话分组时。若只需最简单一行接入、纯本地查看器或团队已用 W&B,则考虑其他方案。
限制:DSPy 自动埋点依赖单独的 openinference-instrumentation-dspy 包;埋点必须在任何 DSPy 模块运行前激活;区域端点不可硬编码;追踪异步发送,脚本与 notebook 必须 flush;敏感数据可用 capture_input=False 或环境变量关闭 I/O 捕获。具体收费与价格暂未提供。