用途:Future AGI 是开源端到端平台,面向 LLM 与 AI 智能体应用的评估、观测与改进,形成闭环反馈。主要能力包括:OpenTelemetry 原生追踪;50+ 评估指标(如幻觉、依据性、相关性、语气、PII、工具调用准确率);多轮模拟;护栏/防护(PII、越狱、提示注入、毒性扫描);OpenAI 兼容网关;提示优化(GEPA、PROMPT_WIZARD、PROTEGI、BAYESIAN、META_PROMPT 等算法)。
安装与部署:Python 使用 pip install ai-evaluation;追踪用 pip install fi-instrumentation,并按框架安装 traceai-openai、traceai-langchain、traceai-llamaindex、traceai-crewai。TypeScript/Node 用 npm install @traceai/fi-core 与 @traceai/openai。自托管可用 Docker Compose:git clone https://github.com/future-agi/future-agi.git,进入目录复制 .env.example 为 .env 并填写配置,执行 docker compose up -d,访问 http://localhost:3031;也可用 deploy/ 下的 Kubernetes 清单或 Helm 安装。
使用方式:配置 FI_API_KEY 与 FI_BASE_URL(云端为 https://api.futureagi.com,自托管为本地地址)。代码中通过 register(project_name=..., project_type=...) 注册项目,再调用对应 Instrumentor().instrument() 自动追踪 OpenAI、LangChain、LlamaIndex、CrewAI 等调用,也可手动创建 span。评估可调用 evaluate 或 batch_evaluate,传入 metrics、query、response、context 等;支持自定义评分标准与工具调用评估。网关将 base_url 指向 {FI_BASE_URL}/gateway/v1,通过请求头选择路由策略、语义缓存与护栏配置。模拟通过 Simulation、Persona、Scenario 定义场景并运行;提示优化用 PromptOptimizer 配合数据集与指标迭代。
适用场景:生产级智能体与 RAG 管线的可观测性、批量离线评估、多智能体(CrewAI)追踪、内容安全护栏、模型路由与成本/延迟优化、提示词自动改进。
限制:资料未提供具体收费、价格、指标全部清单、并发上限、平台兼容范围与性能数据,使用前需自行确认;自托管依赖 PostgreSQL、ClickHouse、Redis、RabbitMQ 等组件,Helm chart 标注为进行中;云端 API Key 需从 app.futureagi.com 获取。