ApX Machine Learning 是一个用于创建和部署大语言模型与机器学习模型的平台，强调自动化流程，其核心功能集中在“先建模、再租 GPU”，即在实际采购或租用计算资源之前，对开放权重 LLM 的部署约束进行量化预测。
一、用途 平台的主要用途是帮助工程团队和研究人员在配置 GPU 集群之前，估算模型能否在目标硬件上以预期上下文长度和并发量稳定运行，从而避免因显存不足、KV 缓存耗尽、并发延迟陡增或互联带宽瓶颈导致的试错与成本浪费。官方文本反复强调：开放权重是免费的，GPU 时间不是。
二、主要能力
- 显存与成本建模：计算精确的 VRAM 占用、每小时成本，并支持跨硬件配置比较。示例中给出 Llama-3-70B FP8、2x H100、32k 上下文、4 并发用户下的权重 65.7 GB、活跃 KV 20.0 GB、可用池 74.3 GB，占 2x H100 160 GB 的 53.6%。
- KV 缓存与并发模拟：模拟动态 KV 缓存增长、互联瓶颈以及并发延迟悬崖，官方称达到物理基准测试的精度。示例给出并发上限 17 个用户、74.3 GB 动态余量。
- 延迟与吞吐预测：预测首 token 延迟（TTFT）的 p50 与 p95、集群吞吐量。示例中 p50 为 3.75s、p95 为 3.83s，集群吞吐约 156 tok/s。
- 运营点与饱和分析：识别“安全运营拐点”，说明超过饱和批大小后总吞吐趋于平坦，而单用户延迟仍持续上升；并指出 INT4 量化可将吞吐饱和的批大小降至四分之一，提升服务容量。
- 量化与互联分析：说明权重量化不影响 KV 缓存，KV 缓存量化可降低每用户内存占用、解锁更大并发批大小；同时比较 NVLink 与 PCIe 在张量并行部署下的吞吐扩展曲线，指出更多 GPU 不一定更快，互联带宽会限制扩展。
- 架构规格数据：提供开放权重模型的结构化参数，包括注意力机制、隐藏维度、层数、上下文窗口及各量化格式下的硬件需求。
- 验证与透明度：预测结果与跨硬件架构、量化方式和并发级别的物理基准测试回归套件进行验证，并公开跟踪和发布差异。
- 课程内容：提供 30 章构建大语言模型的 masterclass，以及 Transformer 模型入门、大语言模型实用量化（PTQ、QAT、GPTQ、GGUF）、量化 LLM 高效推理部署等课程。
- 分析文章：包含在消费级与数据中心 GPU 上训练大语言模型的显存基准对比（如 A100 全量微调与 RTX 4090 上 4-bit QLoRA），以及使用 vLLM 运行 Llama 3.1 8B 时 KV 缓存耗尽的实测基准，解释超出容量触发抢占停顿以及 85% 安全拐点保护 SLA 的原因。
三、使用方式 用户通过平台输入模型、量化格式、硬件配置、上下文长度和并发用户数等参数，获得显存分解、并发上限、TTFT 分布、预估吞吐和每小时成本等投影结果。官方文本提供“Get a projection before the bill”的路径，即先获取投影再产生账单。平台还支持评估是否需要流水线并行、多节点拓扑或生产流量模拟。具体操作界面和注册流程在资料中暂未提供。
四、适用场景 适用于需要为开放权重 LLM 进行 GPU 集群选型与容量规划的工程团队、研究人员，以及希望学习大语言模型构建、Transformer 架构、量化和推理部署的开发者。官方称其被全球领先科技公司与大学的工程师和研究人员使用。
五、限制与未提供信息 资料未提供具体定价、套餐、免费额度、支持的全部模型清单、API 细节、平台访问方式、注册要求，以及预测精度的量化误差指标。KV 缓存量化、INT4 量化、NVLink/PCIe 对比等能力在文本中以“Verify”形式指向进一步验证，具体实现细节暂未提供。
