用途:为多租户 SaaS 的 AI 功能搭建可观测性栈,覆盖提示/响应追踪、语义日志、回放工具与“show me why”解释界面。适用于支持工单称“答案错误”时快速调出当时的提示、模型、检索状态与推理;构建 AI 追踪 schema(OTel + 自定义属性)以支持请求回放与解释;在后台接入调试界面;用分阶段拆解诊断延迟或成本回归。不适用于通用平台可观测性、评测框架或合规审计日志。
主要能力:定义 ai.* 命名空间下的追踪 schema,根 span 为 ai.gateway.request,子 span 包括 ai.entitlement、ai.kill_switch、ai.rate_limit、ai.caps、ai.prompt.render、ai.safety.in、ai.retrieval、ai.provider.call、ai.safety.out、ai.cost、ai.audit;根属性含 ai.tenant_id、ai.feature、ai.prompt_id、ai.prompt_version、ai.model_used、ai.region、ai.tokens_in、ai.tokens_out、ai.usd_cost、ai.fallback_used。每阶段 span 带 service.name、ai.stage、ai.outcome 与 duration。回放工具按 request_id 拉取审计行与 S3 载荷,重建网关输入,支持 --with-provider 与 --from-cache 两种模式,命令示例:replay --request-id ai_req_01HXY... --mode from-cache。提供后台运营视图与租户侧“解释”入口,展示检索片段、提示模板版本、模型、引用与 grounding 分数,隐藏系统提示、内部分类器分数与成本。工单可通过 request_id 关联到追踪与回放。仪表盘覆盖功能运维、成本、质量、安全与租户视图。
限制:需网关发出分阶段 span、AI 审计日志同步写入、OTel 追踪后端与日志后端、后台工具基线。回放只读,不计费、不影响指标。租户侧解释必须来自审计日志,不得由模型重新生成。代理型功能需另见 ai-agent-observability-and-replay。具体价格、平台与效果资料暂未提供。