SuperAPI AI 工具集

baseten

智能体与模型

查看项目

更新于 10-15 20:05

技能介绍

Baseten 是生产级 AI 推理平台,用于服务并扩展开源、自定义和微调模型,强调快速运行时、跨云高可用与顺畅的开发流程。

主要能力:Dedicated Inference 可部署任意模型,支持自动包装的 Truss 服务器、自定义 Docker 服务器,或通过 Chains 进行复合编排部署。Model APIs 提供热门模型的预优化托管 API,并可升级为专用部署。Training 由 baseten train / baseten loops 驱动,含 Truss Train(自带容器、任意框架、完全硬件控制)与 Loops(面向 SFT 和异步 RL 的托管 SDK),支持多节点、万亿级参数、PB 级数据集以及 H100/H200/B200,可通过 SSH 与 VS Code/Cursor 隧道远程访问容器。Frontier Gateway 用于运营自有基础模型。

使用方式:用 baseten CLI 部署和操作模型,如 baseten model push,--watch 用于开发循环,命令支持 --output json / --jq 便于自动化。认证来自 BASETEN_API_KEY 或 baseten auth login,可用 --profile 指定非默认工作区。baseten MCP 通过 API 密钥与后端交互;baseten_docs MCP 提供文档语义搜索,无需认证。truss CLI 仅用于 Chains 编写。安装命令示例:npx add-mcp https://api.baseten.co/mcp -g -y --header "Authorization: Bearer ${BASETEN_MCP_KEY}"、npx add-mcp https://docs.baseten.co/mcp -n "baseten_docs" -g -y、uv tool install truss、npx skills add basetenlabs/baseten-skills -g -y。

适用场景:托管 LLM、基于 vLLM/SGLang/TGI/Triton/NIM 的定制服务器、TRT-LLM/BEI/BIS-LLM 引擎、请求路径中需要自定义 Python 的 Truss、异构多步流水线(如 RAG、ASR→LLM→TTS)等。

限制:资料未提供价格与收费信息;模型目录可能不含全部营销页模型;MCP 安装时绑定单一组织/工作区,切换工作区需另装实例;文档与博客等来源存在滞后和分歧,性能与状态应以工具查询为准,不要猜测。