Milk infrastructure 是一套用于在任意云上部署、管理并扩展 AI 模型调用的基础设施。它由两个核心组件构成：网关 Milk Parlor 与智能体 Milk Man。
Milk Parlor 是兼容 OpenAI SDK 的网关，负责转发模型调用并返回答案，同时在后台把符合条件的请求-响应对保存下来。开发者只需保留原有的 OpenAI SDK 与调用方式，更改 URL 和密钥即可接入；应用照常获得回答，而 Milk 则将保存下来的流量加以利用。
Milk Man 是一个智能体。给它一个目标，它会执行命令、启动云端模型、测量结果并保存所学内容。它可执行的任务包括：运行模型、比较模型的不同设置、或基于已保存的数据进行训练。它会持续运行作业并保留结果，关闭仪表板并不会使其停止。
Milk 的工作流程分为五个阶段：
01 收集：将每个符合条件的请求与回答以账户唯一 ID 保存。相关的交互会归为一个任务。
02 理解：统计新增交互数量，并在达到配置的里程碑时，保存关于主题、任务与响应时间的摘要。摘要里程碑通过环境变量 MILK_SUMMARY_THRESHOLDS 设置，一次交互指一个请求及其响应。
03 生成示例：由教师模型根据这些流量编写新任务。训练任务与被用于评判改进效果的任务保持分离。
04 训练与比较：训练一个开放模型，调整其运行方式，并在相同任务上比较答案、速度与成本。Qwen3.5-0.8B 是第一个训练基座。
05 审核与路由：为选定的模型准备一条网关规则，由操作员审核并签署后，客户流量才会切换过去。
在存储与算力配置方面，环境变量可选择本地文件或兼容 S3 的对象存储、托管推理 API，以及自有的 Baseten 或 Modal GPU。模型文件与运行时镜像分开缓存。Milk Man 可以在本地运行，而数据与算力留在云端。
关于目标与评价，Milk 会保留实验及其结果，包括失败的情况。速度提升与答案质量改进是两种不同的测量指标。其目标是在你的任务上击败选定的基线，而不是宣称某种通用排名。
官网展示的界面内容为已记录下的开发运行结果，并非实时状态。
