Prompt Octopus 是一款帮助开发者比较不同大语言模型(LLM)对同一提示词响应的工具,强调在代码库中进行 LLM 评估。
用途
- 为特定任务寻找最合适的模型。
- 在开发过程中快速对比多个模型的输出,辅助提示词优化和模型选型。
主要能力
- 支持并行运行 OpenAI、Anthropic、DeepSeek、Mistral、Grok 以及数十种其他模型。
- 并排展示不同模型的响应,方便直接比较。
- 允许用户保存提示词和模型偏好,便于重复使用。
- 提供 VSCode 扩展,可直接在代码编辑器中操作。
- 支持自带 API 密钥(BYOK),密钥存储在本地,服务器不可见,可免费无限制使用。
使用方式
- 高亮提示词,选择想要对比的模型。
- 输入自己的 API 密钥(可选),或使用官方服务器(需升级)。
- 运行对比,查看并排的模型响应。
- 保存提示词和模型设置,方便后续调用。
适用场景
- 开发者需要评估不同模型在代码生成、问题解答等任务上的表现。
- 团队在开发流程中集成 LLM 评估,提升提示词质量。
- 个人开发者快速测试多个模型,无需切换多个平台。
限制与费用
- 免费试用:前 10 次对比无需密钥或付款。
- 自带 API 密钥:免费且无限制使用,密钥仅存本地。
- 使用官方服务器:需升级,费用为每月 10 美元。
- 具体支持的模型列表、VSCode 扩展的详细功能等未在资料中完全列出,建议访问官网了解最新信息。