用途:查询 Langfuse 中的追踪、提示词与指标,用于分析 LLM 生成链路(错误、延迟、Token 用量),审查提示词性能,监控成本,并支持从追踪导出评测用例。
主要能力:列出近期追踪并按名称、用户、时间范围过滤;获取单条追踪完整详情(含 span 与 generation 的嵌套结构及 Token 用量);按名称和标签获取提示词;获取指标汇总(总追踪数、成功/错误数、平均延迟、总 Token、按名称分组计数)。所有脚本以 JSON 输出到 stdout,便于解析。
使用方式:需设置环境变量 LANGFUSE_SECRET_KEY、LANGFUSE_PUBLIC_KEY、LANGFUSE_HOST。命令在技能目录下运行,例如:cd ~/.claude/skills/langfuse-observability;npx tsx scripts/fetch-traces.ts --limit 10;npx tsx scripts/fetch-traces.ts --name "quiz-generation" --limit 5;npx tsx scripts/fetch-traces.ts --user-id "user_abc123" --limit 10;npx tsx scripts/fetch-trace.ts <trace-id>;npx tsx scripts/list-prompts.ts --name scry-intent-extraction --label production;npx tsx scripts/get-metrics.ts --limit 50。典型流程为:先列出近期追踪,再取具体追踪详情,或在 get-metrics 中按名称分析。
适用场景:调试失败生成、监控 Token 用量与成本、检查生产环境提示词配置,以及将失败追踪导出为 Promptfoo 回归测试用例。
限制:追踪需事先在应用中接入 Langfuse SDK 并上报;成本计算需自行维护模型单价表;预算告警可在 Langfuse 仪表盘配置或自行编写代码实现。部分替代方案比较与最佳实践属资料内容,实际平台支持情况暂未提供进一步保证。