用途
Agenta 是一款面向 LLM 提示词的管理与评估平台，核心目标是对提示词进行版本控制、A/B 测试和自动化质量评估，并可选择自托管部署。它适合需要系统化迭代提示词的生产场景。
主要能力
- 提示词版本管理：创建和管理带版本的提示词（variant），列出全部版本、设置默认/激活版本、按 ID 获取某个版本，并比较不同版本在同一测试输入下的输出。
- A/B 测试：为不同变体配置流量分配比例，按比例路由请求，记录每次请求的输出、延迟与 token 用量，汇总每个变体的样本数、平均/最小/最大延迟和平均 token 数，并在样本量足够时给出结论。
- 评估指标：提供多种评估器，包括精确匹配、关键词包含、输出长度，以及使用 LLM 作为评判者（LLM judge）按指定标准（如 helpfulness）打分，评估结果包含指标名、分数与细节信息。
使用方式
安装 SDK：
pip install agenta
使用 Docker 在本地启动：
docker run -d -p 3000:3000 -p 8000:8000 ghcr.io/agenta-ai/agenta
也可使用 docker-compose：
git clone https://github.com/Agenta-AI/agenta
cd agenta
docker-compose up -d
初始化项目：
agenta init --app-name my-llm-app
环境变量示例：
export AGENTA_HOST="http://localhost:3000"
export AGENTA_API_KEY="your-api-key" # If using cloud version
export OPENAI_API_KEY="sk-..."
export ANTHROPIC_API_KEY="sk-ant-..."
初始化与连接检查示例：
import agenta as ag
from agenta import Agenta
client = Agenta()
print(f"Agenta SDK version: {ag.__version__}")
print("Connection successful!")
提示词以 @ag.entrypoint 装饰函数的形式定义，函数内构造的提示词模板会成为可版本化的内容，并通过 ag.llm.complete(...) 调用模型，由 Agenta 进行跟踪。
适用场景
- 生产环境中管理多个提示词版本。
- 需要对提示词变体做系统性 A/B 测试。
- 需要用自动化指标衡量提示词质量。
- 团队协作开发提示词，并需要变更审计记录。
- 需要快速迭代的 LLM 应用，或希望在相同提示词下比较不同模型。
- 需要快速实验提示词的 playground。
- 出于安全或合规要求需要自托管部署。
限制
- 仅适合单提示词的简单应用、不需要版本管理或测试的项目，以及已经使用其他提示词管理系统的项目。
- 快速原型开发且无需评估时不建议使用。
- 对成本敏感的项目需注意，评估会带来额外的 API 调用。
- 官方介绍中暂未提供具体的收费与价格信息。