SuperAPI AI 工具集

perplexity-observability

部署与运维

查看项目

更新于 10-15 23:28

技能介绍

用途:为 Perplexity Sonar API 建立监控,覆盖性能、成本与回答质量。Perplexity 特有信号包括每次响应的引用数量(质量指标)、搜索延迟波动(网络搜索非确定性)以及不同模型的成本差异。

主要能力:

  1. 客户端埋点:用 instrumentedSearch 包装 OpenAI 兼容客户端,记录模型、延迟、状态、引用数、token 数与错误码。
  2. Prometheus 导出:prometheusMetrics 输出延迟直方图、按模型/状态的查询计数、平均引用数与 token 总量。
  3. 引用质量评分:evaluateCitationQuality 按 .gov/.edu 及 wikipedia.org、arxiv.org、nature.com、science.org 等权威域名计算质量分。
  4. 成本估算:按模型每百万 token 输入/输出费率估算单次查询成本。
  5. 告警规则:P95 延迟超 15 秒、10 分钟无引用、错误率超 5%、token 用量突增等。

关键指标参考:sonar 延迟 p50 约 1-2 秒、sonar-pro 约 3-5 秒;引用数 sonar 约 3-5、sonar-pro 约 5-10;错误率通常低于 1%;单次成本 sonar 约 $0.005、sonar-pro 约 $0.02。

使用方式:需已有 Perplexity API 集成、指标后端(Prometheus、Datadog 或自建)和告警系统。按步骤埋点、导出指标、评分、估算成本并配置告警规则。

适用场景:监控仪表盘、成本与质量追踪、异常告警。

限制:资料未提供具体安装命令、完整部署步骤与官方定价保证,费率与阈值为示例参考,需按实际环境调整。