用途
ito-inference 是 ECC 中用于在 Itô 计算平台上进行推理服务的唯一规范技能。任何命名 ito-serve 的请求都路由到此处,不应创建或安装第二个 ito-serve 技能。ECC 本身从不通过 SSH 连接节点、下载权重、启动引擎或暴露端点,也从不预订、保留或消费资源。
当前生产边界
托管服务目前不可用。ECC 桥接仅暴露登录、认证、查找、状态以及显式受控的评估功能,没有 serve 动词。规范运行时仅将推理记录为不受支持的兼容性探测,ECC 不调用也不依赖它。MCP 接口仅暴露认证、查找和状态。本地可强制执行的保证是:ECC 在解析或启动携带凭据的规范客户端之前就拒绝 serve。
因此,在认证或任何命令调用之前即停止,报告缺失的能力并返回发起方智能体。绝不以本地运行器、SSH 辅助工具、浏览器工作流、购买端点或任何未跟踪的本地 ito-serve 草稿作为替代。
所需授权
当服务实现后,其第一道门槛是服务器验证的已完成预订。测试框架记忆、RFQ、报价、节点 IP 或 SSH 访问均不构成授权证明。后端必须返回与已认证账户、预订、GPU 拓扑、区域、网络结构、期限和模型策略绑定的最新服务资格。过期、撤销、不匹配、不完整或已释放的预订在确认前即失败关闭。
未来 CLI 与 API 契约
预期命令名为 serve;在生产契约落地后,inference 可能仅作为显式弃用的兼容性别名保留。未来的交接必须等价于:
ecc ito serve
--booking <server-verified-booking-id>
--manifest <absolute-reviewed-json-file>
--confirmation-ref <opaque-non-authorizing-reference>
--idempotency-key <stable-retry-key>
--json
经审查的清单必须标识模型修订版本、引擎及版本、量化方式、张量/流水线拓扑、端点暴露策略、制品校验和、存储上限、运行时限制、可选的 TTFT/TPOT 目标以及最大增量成本。任何原始 API 密钥、SSH 密钥、节点密码或持有者令牌都不得出现在参数、清单、日志、MCP 结果或聊天中。
客户端必须规范化清单路径、拒绝符号链接、打开常规文件而不跟随链接、要求适当的所有权和限制性权限、强制大小上限,并从打开的文件描述符计算字节哈希。该摘要必须与确认中绑定的摘要完全一致,之后才能进行任何工作负载变更。路径替换、摘要不匹配、文件过大或可变不安全文件均失败关闭。
规范 API(而非 ECC)必须拥有工作负载创建权,并返回结构化 JSON,包含 ok、live_api_contacted、notice 以及 data 或 error。服务数据必须包含稳定的预订、工作负载、清单和幂等 ID 以及状态枚举;在健康检查和模型检查通过之前,不得声称端点已上线。错误必须包含稳定代码和不含机密的安全消息。
确认与执行关卡
在工作负载创建之前,要求满足以下全部条件:
- 来自规范后端的最新授权和服务资格。
- 可审查的不可变清单和确定性摘要。
- 单独的、一次性确认,绑定账户、操作、清单和成本,具有短过期时间和重放保护。CLI 参数仅携带不透明的、非授权的确认引用;服务器在带外解析并消费持有者能力。
- 调用方提供的幂等键,与工作负载原子保留。
- 服务端网络结构、容量、模型策略、存储和成本验证。
认证是身份,不是工作负载权限。登录、API 密钥、报价或已完成预订永远不能替代服务确认。检查和计划生成不得创建工作负载。取消和清理是独立的变更操作,具有各自作用域的确认和幂等边界。
生命周期与恢复
在生产环境中,同一规范客户端必须暴露租户作用域的状态、日志、指标、取消和清理操作,否则生产接口不完整。每个操作都需要有界的连接和总体超时、感知撤销的错误以及结构化输出。在模糊的传输失败后,先按幂等键查询状态再重试;绝不因为第一个响应丢失就创建第二个工作负载。凭据被撤销时停止轮询并将控制权返回发起方智能体,不自动启动登录。
仅在端点健康、模型身份和金丝雀推理全部通过后才报告就绪。如实报告中间和终端失败状态。清理必须可观察,且不得释放或修改底层预订,除非该独立经济操作已被明确授权。
拟议的后端阶段
以下阶段描述未来后端,而非 ECC 中已存在的代码:
- 验证授权、拓扑、网络结构和成本关卡。
- 将校验和固定的权重获取到后端管理的存储中。
- 生成并验证可审查的拓扑/引擎计划。
- 通过提供商控制平面启动,绝不从 ECC 直接 root SSH。
- 预热、测试健康和模型身份、运行 SLO 金丝雀,然后注册端点和脱敏配置。
在上述每个关卡和生命周期操作都存在于规范运行时之前,此技能保持为失败关闭的可用性检查和文档交接。