用途
AISIX 是一个开源、Rust 原生的 AI 网关，用于在 LLM 与 AI 智能体（Agent）流量前建立统一的控制点。它把所有模型提供方统一到一个兼容 OpenAI 的 API 之下，让平台团队在一个地方完成路由、治理、安全加固、缓存与可观测性管理。网关可在用户自有基础设施内运行，实时 AI 流量直接调用各提供方，不经过任何控制平面。
AISIX 由 Apache APISIX 的原始创作者构建，本仓库 AISIX OSS 是开源产品。
主要能力
- 统一 API 入口：提供兼容 OpenAI 的代理（默认 :3000 端口），覆盖 chat/completions、completions、responses、embeddings、rerank、images/{generations,edits}、audio/{speech,transcriptions,translations}、videos（提交→轮询→获取）、files、batches、fine_tuning/jobs、realtime、GET /v1/models，以及根级 /passthrough/:provider/* 逃生通道。原生支持 SSE 流式、工具/函数调用、JSON 模式、视觉/多模态输入与推理内容。
- Anthropic Messages API：POST /v1/messages 作为一等路由，可作用于任意已配置上游；当模型指向非 Anthropic 提供方时，请求与响应（含流式）双向转换。
- 路由与故障转移：虚拟/路由模型支持六种策略——round_robin（平滑加权轮询）、consistent_hash（按 header / cookie / API key / 客户端 IP 做会话亲和）、failover，以及基于指标的 least_cost、least_latency、least_busy。还支持按目标优先级分层（active/backup 池）、重试预算、冷却、标签条件目标与每次尝试超时。
- 集成模型（Ensemble）：把一次请求并发扇出到一组模型，再由裁判模型合成单一答案，并可设置最少成功响应阈值。
- 语义路由：一个虚拟模型按请求含义分发——对提示词做嵌入，与各路由的示例语句打分，路由到最佳匹配或默认路由。
- 限流与并发：RPS/RPM/RPH/RPD + TPM/TPD + 并发上限，可在调用方密钥、模型与策略作用域（api_key / model / team / member / team_member）上 AND 组合。计数器默认按进程；可用 Redis 后端在副本间共享。
- 护栏（Guardrails）：对输入与输出执行内容策略，支持进程内或经提供方执行——关键词/正则、内置 PII 检测与脱敏、Presidio、Lakera、OpenAI Moderation、AWS Bedrock Guardrails、Azure AI Content Safety（Prompt Shield + 文本审核）以及两项阿里云服务。拦截返回 422 content_filter；监控模式记录“本应发生”的行为但不拦截。
- 缓存：精确匹配响应缓存，支持按策略设置 TTL 与模型/键范围匹配器；内存与 Redis 后端；每次命中都有节省成本遥测。此外，可按直接 Anthropic 模型启用自动提示缓存以注入缓存断点，让调用方无需改请求即获得提供方侧的提示折扣。
- MCP 网关：在 /mcp 前前置已注册的上游 MCP 服务器，凭据由网关持有，支持按服务器工具命名空间与按调用方访问。服务从 2025-03-26 到无状态 2026-07-28 的所有 Streamable HTTP 修订版，无需下游会话。上游默认使用 initialize，或使用 protocol_version: "2026-07-28" 的 server/discover。CI 运行官方 MCP 套件中适用的纯工具协议场景。还能把 OpenAPI 描述暴露为 MCP 工具形式的 REST API。
- A2A 智能体网关：在 /a2a/:agent 前前置 A2A（Agent-to-Agent）智能体，基于 JSON-RPC 2.0 提供每个智能体的卡片并将 URL 重写为网关地址。
- 入站认证：调用方 API key（SHA-256 哈希、模型白名单、过期、轮换），或针对已注册提供方（Entra ID、Okta、Google Workspace 或任意 OIDC 签发方）校验的 OIDC/JWT bearer token，并带 JWKS 缓存。
- 可观测性：Prometheus /metrics、结构化逐请求访问日志、用量事件、OTLP/GenAI span 导出（Langfuse、Honeycomb、Grafana Cloud 或任意 OTLP 接收端），以及专用 Datadog 与阿里云 SLS 日志导出器和对象存储（S3/GCS/Azure Blob）遥测。
- 声明式配置：一个 resources.yaml 承载全部十类资源集合（提供方密钥、模型、调用方密钥、护栏、MCP 服务器、A2A 智能体、缓存策略、可观测性导出器、限流策略、OIDC 提供方），并使用与运行时相同的 JSON Schema 校验。aisix validate 可离线检查文件；SIGHUP 原子重载。
- 运维端点：代理监听器上的 /livez 与 /readyz；专用指标监听器（:9090）上的 /status/config、/status/ready、/status/models 与 Prometheus /metrics。管理监听器（:3001）另提供只读资源界面、带 Scalar UI 的 OpenAPI 3 与演练场。资源以声明方式管理——通过 resources_file（SIGHUP 重载）或直接写 etcd——而非管理监听器；其旧的写端点已移除。
使用方式
官方给出的快速上手路径为：使用一个容器运行，无需控制平面、数据库或配置存储——网关从单一声明式 resources.yaml 读取全部动态资源；随后像调用 OpenAI 一样调用网关。编辑 resources.yaml 并发送 SIGHUP（docker kill -s HUP aisix）即可无重启应用更改；非法文件会被整体拒绝，最后一份有效配置继续服务。启动前可用 aisix validate --resources resources.yaml 校验文件。多副本集群则改为指向 etcd（resources_file 与 etcd 互斥）。
本地构建前提：rust-toolchain.toml 中固定的 Rust 工具链。仅在测试 etcd、Redis 或提供方模拟器时需要 Docker。
适用场景
适合需要在自己的基础设施中统一代理多家 LLM 与 AI 智能体流量的平台团队，用于多提供方路由与故障转移、模型调用治理、速率与并发控制、内容护栏、响应缓存、MCP 与 A2A 流量前置、入站认证与用量可观测性。网关在数据面运行于用户环境并直接调用提供方。
产品形态与限制
开源版 AISIX OSS（本仓库）无需控制平面即可通过声明式配置或 etcd 运行。同一个网关二进制也作为商业产品 AISIX Enterprise 与 AISIX Cloud 的数据平面：前者由客户托管控制平面，后者由 API7 托管。三种产品中网关都在用户环境中运行并直接调用提供方，实时 AI 流量不经过任一控制平面，代理 API 完全一致。预算与支出上限是 AISIX Enterprise 与 AISIX Cloud 的功能——网关执行控制平面的决策。开源版采用 Apache-2.0 许可，可在自有基础设施中永久免费运行。
路线图（在 issues 中跟踪）上的项目包括：语义（嵌入相似度）响应缓存、更多可观测性接收端（Langsmith、Helicone、Slack 告警）、作为网关资源管理的提示模板、Llama-Guard 护栏提供方。自该清单上次撰写以来已交付：MCP 网关、A2A 智能体网关、OIDC/JWT 入站认证、Redis 支持的分布式限流，以及 Lakera、Presidio、PII 与 OpenAI Moderation 护栏。
支持的提供方方面，AISIX 通过五个原生适配器族分发——它们是各自独立的线协议桥接，而非单一通用换标签；无论上游协议如何，面向客户端的 API 始终保持 OpenAI 形态。另含对厂商特殊行为的专门处理（如 DeepSeek 推理内容）以及专用 rerank / embeddings 厂商（Cohere、Jina）。
关于具体收费与价格，资料暂未提供。
