用途:通过 TrueFoundry AI Gateway 以统一的 OpenAI 兼容 API 访问 1000+ 大模型,并在应用与各 LLM 提供商之间加入认证、路由、限流、预算控制与日志能力。网关基础地址为 {TFY_BASE_URL}/api/llm。
主要能力:单一端点接入云端与自托管模型;使用一个 PAT 或 VAT 替代各厂商密钥;兼容任意 OpenAI SDK;支持按用户、团队或应用限流;预算控制;跨模型实例负载均衡与故障回退;请求日志、成本追踪与分析;支持 Chat Completions、Embeddings、图像生成/编辑、音频转写与合成、Rerank、Batch、Moderations 等接口;支持 25+ 提供商,如 OpenAI、Anthropic、Google Vertex、AWS Bedrock、Azure、Mistral、Groq、Cohere、Together 及自托管 vLLM/TGI;可配合 LangChain、LlamaIndex 及 Cursor、Claude Code、Cline 等工具。
使用方式:在 TrueFoundry 控制台创建 PAT(个人使用)或 VAT(生产推荐),配置 base_url 与 api_key 后用 OpenAI SDK 调用;也可设置环境变量 OPENAI_BASE_URL 与 OPENAI_API_KEY。网关配置以 YAML 通过 tfy apply -f 应用,配置类型包括 gateway-load-balancing-config、gateway-rate-limiting-config、gateway-budget-config;外部 OpenAI 兼容 API 使用 provider-account/self-hosted-model 与 auth_data 注册;自托管模型使用内部集群 DNS(svc.cluster.local)端点。
限制:自托管模型部署或工作负载部署需要 TrueFoundry Enterprise 账户与已连接集群,详见 https://truefoundry.com;不要使用 provider-account/nvidia-nim,schema 中不存在;字段以平台仓库 servicefoundry-server/src/autogen/models.ts 为准;限流与预算规则仅第一条匹配生效,需把具体规则放在通用规则之前;供应商与模型名称以控制台 AI Gateway → Models 实际配置为准;内容过滤、PII 检测、提示注入防护需使用 guardrails 技能;价格、收费细节与平台具体效果暂未提供。