SuperAPI AI 工具集

compute-mamba-ratio

通用与其它

查看项目

更新于 10-16 05:51

技能介绍

用途:为混合模型(注意力层 + 线性注意力层,如 Mamba/SSM、GDN、KDA)选择启动时固定划分的 --mamba-full-memory-ratio r,或改用 --max-mamba-cache-size 固定状态池,使状态池(决定并发,硬预留、失败即报错)与全 KV 池(决定上下文×并发,软性可分页回退)都不先成为瓶颈。

核心公式:r* = (S + D) · token_equiv · dcp_size / L,其中 token_equiv = state_bytes_per_slot / kv_bytes_per_token,L 为平均上下文(输入+输出)token 数,D 为 --speculative-num-draft-tokens(NOSPEC 为 0),dcp_size 为 --dcp-size(无 DCP 为 1)。r 为无量纲划分比例,>1 合法。

需要收集的输入:L;两个每 GPU 字节常量(优先从任一比例下的启动日志读取:ssm_state 大小 / max_mamba_cache_size 得 state_bytes_per_slot,#tokens / KV size 得 kv_bytes_per_token;也可由模型架构与数据类型推导);S(每个运行请求的状态槽数,由 --mamba-radix-cache-strategy、overlap 调度器与 SGLANG_OPT_MAMBA_SKIP_DECODE_LOCK 决定);D;dcp_size;KV 与 ssm 数据类型。若要同时预测并发钳制,还需 rest = 每 GPU 显存 − 所选 --mem-fraction-static 下的权重占用。

S 取值:--disable-radix-cache 为 1;no_buffer 为 3;extra_buffer 默认且 overlap 开启为 5;extra_buffer 且 overlap 关闭为 4;extra_buffer_lazy(推荐)为 4。设置 SGLANG_OPT_MAMBA_SKIP_DECODE_LOCK=1 时对应减 1(no_buffer 例外,仍为 3)。--disable-overlap-schedule 或 --pp-size > 1 视为 overlap 关闭。

数据类型影响:fp8 KV 使 token_equiv ×2;fp32 ssm 相对 bf16 约 ×2(conv 部分固定为 bf16);两者同时约 ×4。精确值应从启动日志读取两个字节常量相除。

计算与流程:先利用空闲显存提高 --mem-fraction-static(如 0.85 → 0.92)再调划分;收集输入;算 r*;若 r* 使状态池低于一个请求所需(极长 L 时),改用 pin --max-mamba-cache-size = target_concurrency · S,其余留给 KV,低于 0.15 的 r 较脆弱;报告 r、预测钳制、受限池及精度门控。预测钳制可用 mamba_budget = rest · r/(1+r),slots = mamba_budget / state_bytes_per_slot,再除以 S(NOSPEC);KV 容量为 kv_tokens · dcp_size / L。

示例:某 TP8、fp32 ssm + fp8 KV 模型 token_equiv ≈ 4080,extra_buffer_lazy 时 S = 4,L = 9216,NOSPEC:TP 下 r ≈ 1.8;DCP8 下 r ≈ 14。

限制与注意:DCP + spec 时若草稿 KV 未按 dcp_size 分片,×dcp_size 会高估优势,需改用逐 token 直接求解;ReplaySSM 投机验证启用时应取 D = 0;--max-mamba-cache-size 会覆盖 r,超出部分一对一从 KV 池扣除;fp8 KV 与 bf16 ssm 有精度门控,生产前需验证精度(SM100+ 上 bf16 ssm 还会切换线性注意力解码后端,可 pin --linear-attn-decode-backend triton);DCP 下平衡点超出常见 L,建议直接 pin --max-mamba-cache-size。L 波动较大时倾向调高 r,因为状态池是硬预留。启动日志的 GB 为 GiB(1024³)。其余平台与价格信息暂未提供。