llmprobe 是一个用于 LLM 服务可靠性的命令行工具，定位是 LLM 推理端点的合成监控与 CI 冒烟测试。它通过主动探测来暴露生产环境中影响用户体验的关键指标：首 Token 时间（TTFT）、总延迟、生成吞吐量（tokens/秒）以及错误率。
用途与场景 llmprobe 可作为一次性健康检查，也可按间隔持续监控，还可充当 CI 门禁：当 LLM 提供商当前性能退化时阻止部署。其预期用例是重复的合成探测，让 LLM 延迟、TTFT 回退、吞吐量下跌和提供商退化在用户报告之前就变得可见。项目方还用它运行公开基准测试 llm-bench，对主流 LLM API 进行持续公开评测，发布实时仪表盘与原始 JSONL 数据。
支持的端点 工具支持 OpenAI、Anthropic、Google、Azure OpenAI、AWS Bedrock，以及 OpenAI 兼容端点，如 vLLM、Ollama、OpenRouter、Groq、Together AI、Fireworks、DeepSeek、Mistral。对于 OpenAI 兼容提供商，只需设置 base_url 即可开箱使用；可用 label 字段区分多个 OpenAI 兼容配置块。API 密钥和 AWS 凭证支持 ${ENV_VAR} 语法，仅凭证字段会被展开，提示词或模型名中的环境变量引用保持原样。
安装方式 可从最新 release 下载预构建二进制（Linux、macOS、Windows；amd64 与 arm64），或从源码安装。资料还提供了作为 Claude Code 插件安装（获得 /llmprobe 技能与 MCP 工具）以及直接注册 MCP 服务器的方式。
主要能力
- 一次性健康检查：探测所有已配置端点并打印结果，提供用于 CI 的退出码。
- 持续监控：按间隔探测所有端点，每次迭代打印一行摘要；使用 --tui 可启动实时终端仪表盘，含 TTFT 图表、颜色图例和统计表；使用 --load 可导入历史 JSONL 数据（来自 llmprobe watch -f json > data.jsonl）。
- 报告生成：llmprobe report 从 JSONL 探测数据生成 Markdown 摘要，按端点给出 TTFT、延迟、吞吐量的 p50/p95/p99 百分位。
- 基线回归检测：llmprobe baseline 从历史 JSONL 数据创建基线文件，在配置中引用后可基于乘数阈值检测回退，即相对自身历史数据而非绝对阈值判断。
- 版本查询：llmprobe version 打印已安装二进制版本。
- Prometheus 指标：以 --prometheus 运行后可在 /metrics 暴露指标；其中 llmprobe_status 仪表以 1=健康、0.5=退化、0=错误编码健康状况，可用于 Grafana 或 Alertmanager 告警。
- OpenTelemetry 指标：以 --otel 运行可将探测指标导出到 OTLP/gRPC 收集器，所有指标带有 provider 和 model 属性。
- 内置 MCP 服务器：以 stdio 启动，允许 Claude Code 及其他 MCP 主机在智能体工作流中直接检查 LLM API 健康；注册后可在对话中调用 llmprobe 工具。资料提到可用工具包括 list_providers（查看配置了哪些模型）和 probe_all（部署前验证健康）。
- JSON 响应校验：对 OpenAI 兼容端点，设置 response_format: json 请求 JSON 模式，设置 validate_json: true 后若流式内容不是合法 JSON 则将探测标记为退化。
- 配置与示例：需创建 probes.yml（或复制内置示例），资料还提到 examples/ 中有针对 vLLM、SGLang、Ollama 的即用配置。
实现要点 每个提供商客户端都是一个轻量 HTTP 封装，发送流式请求并解析响应，不导入任何 LLM SDK。SSE 解析器同时处理仅数据事件（OpenAI、Google）和具名事件（Anthropic）。Bedrock 客户端从零实现 SigV4 签名与 AWS 二进制事件流解析。TTFT 的测量起点是 HTTP 请求发出，终点是首个包含实际内容文本的事件（不含角色分配或元数据）。
CI 用法与隐私 可将 llmprobe probe 作为部署前门禁，若任一 LLM 提供商当前性能退化则阻止部署；探测失败时输出只显示失败端点。llmprobe 在本地运行，只联系用户配置的 LLM 端点，隐私细节见 PRIVACY.md。
限制与暂未提供的信息 资料未说明具体收费模式、价格、性能基准数值、支持的最大并发或探测频率上限；路线图中提到的更多报告格式、更多自托管 OpenAI 兼容端点示例以及常见 LLM 端点故障的可选 runbook 模板，均标注为未来可能内容，当前版本是否已包含暂未提供。
