SuperAPI AI 工具集

llm-monitoring-dashboard

智能体与模型

查看项目

更新于 10-15 19:53

技能介绍

用途:在管理后台自动生成 LLM 使用监控页面,追踪 API 成本、token 与延迟,并输出面向 PM 的数据洞察。适用于成本可见性、周报、用户采用率管理、模型切换决策,以及为现有 Admin 页面添加监控标签页。

主要能力:基于 Tokuin CLI 采集 token/成本/延迟数据;按用户与团队统计;用户排名与非活跃用户识别;支持 dry-run 成本估算、多模型对比、Prometheus 格式输出;数据以 JSONL 记录并写入 SQLite,供仪表盘展示。

使用方式:先运行 safety-guard.sh 安全检查,再安装 Tokuin CLI:curl -fsSL https://raw.githubusercontent.com/nooscraft/tokuin/main/install.sh | bash(Windows 用 irm https://raw.githubusercontent.com/nooscraft/tokuin/main/install.ps1 | iex)。用 tokuin --version 验证,echo "Hello, world!" | tokuin --model gpt-4 测试。dry-run 示例:echo "..." | tokuin load-test --model gpt-4 --runs 50 --concurrency 5 --dry-run --estimate-cost --output-format json。采集脚本 collect-metrics.sh 默认 dry-run,可配 cron 每 5 分钟执行。前端可选 Next.js 15+ + React 18 + TypeScript(npx create-next-app@latest llm-dashboard --typescript --tailwind --app --no-src-dir,npm install recharts better-sqlite3 @types/better-sqlite3),或 Python 3.8+ 轻量 HTML 方案。

限制:实时 API 调用需配置 OPENAI_API_KEY、ANTHROPIC_API_KEY、OPENROUTER_API_KEY 等环境变量,并会产生费用;默认 dry-run 不产生费用。需注意端口冲突、.env 加入 .gitignore、metrics.jsonl 超过 10MB 时滚动清理。资料未提供具体价格、平台支持范围与效果数据。