ManagePrompt 是一款围绕 AI 开发与部署的提示词管理与调试工具,官网当前提供的信息集中在其本地 LLM 调用调试能力上。
用途 在开发阶段捕获每一次 LLM API 调用,方便开发者查看调用细节、定位问题、评估成本与性能,从而调试和优化大模型调用流程。
主要能力
- 请求与响应捕获:记录每次调用的请求体和响应体,并提供可视化流程展示。
- Token 用量统计:展示每次调用的输入、输出、缓存读取与缓存写入 token 数量。
- 成本估算:基于 models.dev 的定价数据实时计算调用成本。
- 延迟信息:记录每次调用的延迟表现。
- 自动捕获流式与非流式调用,无需手动区分。
- 实时更新:通过 WebSocket 在调用发生时实时刷新界面。
- 本地存储:每个项目目录使用独立的 SQLite 数据库,官方称零配置即可使用。
- 本地 Web UI:所有调试信息在本地网页界面中查看。
使用方式 官方说明接入只需两行代码,以 AI SDK Middleware 的形式集成,兼容任意 LLM API,包括 OpenAI、Anthropic、Google、Mistral 等。
组成与安装 官方列出两个 npm 包:
- Server:运行本地 Web UI。
- npm package:从应用中捕获 LLM 调用。 具体安装命令与代码示例在提供的资料中暂未给出。
适用场景
- 开发阶段需要排查 LLM 调用失败或异常。
- 需要直观查看请求/响应内容与流式调用过程。
- 需要按次统计 token 用量并估算成本。
- 需要监控本地开发环境中的调用延迟。
限制 资料中未提供免费或付费情况、价格、平台支持范围、数据安全机制细节、生产环境适用性以及具体的安装与配置步骤,这些信息暂未提供。