SuperAPI AI 工具集

foundations-queueing-theory

通用与其它

查看项目

更新于 10-16 04:28

技能介绍

该技能聚焦容量规划、饱和预测与背压设计,列出 11 个排队论基础原语:Little's Law(L=λW)、M/M/1、M/M/c 与 Erlang-C、M/G/1 与 Pollaczek-Khinchine、优先级队列、Jackson 网络、Kingman 公式、Bufferbloat、USL、Erlang-B 与 Fork-Join,每个原语标注公式、适用场景和所应对的失效模式。适用情形包括 p95/p99 延迟随负载非线性增长、队列填充快于排空、需要估算服务器或 worker 数量、设计限流与准入控制、以及多级流水线中某阶段方差影响下游。资料同时给出使用边界:已有满足精度要求的实测延迟模型时可跳过;负载测试方法见 qa-testing-performance,LLM 推理调优见 ai-llm-inference;分布式系统正确性、可靠性预算、控制理论问题应分别改用其他基础技能。文档强调若干常见误用:把高利用率当作效率、对处理器共享或损失制系统套用 P-K/Kingman 方差项、把 ρ≥1 的重试问题简单归为扩容、对带 KV 缓存的 LLM 推理网络套用 Jackson 乘积形式、仅按算力判断 ρ<1、假定无驱逐是稳定均衡,以及忽略批处理导致 μ 随队列状态变化。使用建议包括先计算含重试的 ρ 判断稳定性,按是否有单/多服务器、服务时间分布、到达突发性、调度规则、多级流水线、横向扩展和 SLO 类别依次选择原语,并用 Little's Law 做一致性校验。文档未提供具体安装命令、收费或平台信息。