用途:端到端配置与操作 TrueFoundry AI Gateway,为所有模型提供统一 OpenAI 兼容入口,并集成供应商账号、内容安全护栏与请求监控。
主要能力:
- 统一网关端点 {TFY_BASE_URL}/api/llm,OpenAI 兼容;可列出可用模型、调用聊天补全、通过环境变量接入任意 OpenAI SDK。
- 认证:PAT(个人访问令牌,开发用)与 VAT(虚拟账号令牌,生产用,支持按模型粒度授权)。
- 供应商账号集成:支持 OpenAI、AWS Bedrock、Google Vertex、Azure OpenAI、Groq、Together AI、自定义 OpenAI 兼容端点、自托管模型等,可列出、创建与管理。
- 护栏:创建护栏配置组并注册提供商集成,再创建引用这些提供商的规则,实现 PII 过滤、内容审核、提示注入检测、密钥检测与自定义校验。
- 监控:通过 spans API 查询近期请求(时间、模型、状态、令牌、成本、延迟、用户),通过指标 API 做聚合分析(成本、模型/用户/团队/虚拟账号维度)。
使用方式:
- 认证后执行只读查询走 API,例如 $TFY_API_SH GET /api/svc/v1/provider-accounts、GET /api/svc/v1/gateway-guardrails-configs。
- 调用模型示例:curl "${TFY_BASE_URL}/api/llm/chat/completions" -H "Authorization: Bearer ${TFY_API_KEY}" -H "Content-Type: application/json" -d '{"model": "openai/gpt-4o", "messages": [{"role": "user", "content": "Hello!"}], "max_tokens": 200}'。
- 配置应用:tfy apply -f manifest.yaml --dry-run --show-diff 校验后 tfy apply -f manifest.yaml。
- 所有清单中的凭据必须使用 tfy-secret:// 引用,禁止明文;不要把 API key 粘贴到对话中。
适用场景:通过统一网关访问多供应商模型、配置限流/预算/负载均衡与回退、管理供应商账号、内容安全策略、以及排查网关流量与成本。
限制:部署自托管模型或工具服务器需要 TrueFoundry 企业版账号并连接集群;平台凭据、MCP 服务器、平台密钥、应用追踪与容器日志应使用对应专项技能。type 查询参数在 GET /api/svc/v1/provider-accounts 上不生效,需客户端过滤。监控查询需提供 tracingProjectFqn 或 dataRoutingDestination。
其他详细配置、模板与错误处理参见各参考文档,具体实现细节以资料所述为准,未提供项暂缺。