用途
optimize-llm 是一个面向 LLM 服务优化的命令工具，旨在为开发者提供快速、可操作的优化建议，覆盖服务延迟、推理成本与吞吐量三个方向。
主要能力
该命令通过以下流程工作：
- 收集上下文：搜索 LLM 相关配置文件，包括模型配置、服务配置、推理脚本，并识别当前服务栈，例如 vLLM、TGI、TensorRT-LLM 等。
- 调用 llm-optimization-advisor 智能体：该智能体专长于量化策略（INT8、INT4、FP16）、批处理优化（连续批处理、动态批处理）、KV 缓存优化（PagedAttention）、服务框架选择以及成本降低策略。
- 呈现建议：按快速见效（低投入、高影响）、中等投入（中等改动、显著收益）、高级优化（架构级改动、最大化性能）三个层级组织优化机会。
使用方式
命令格式：
/sd:optimize-llm [focus]
参数 focus 为可选，用于指定优化优先级：
- latency：专注于减少响应时间
- cost：专注于降低推理成本
- throughput：专注于最大化每秒请求数
省略 focus 时提供均衡建议。
示例：
/sd:optimize-llm /sd:optimize-llm latency /sd:optimize-llm cost
输出格式
命令输出为 LLM 优化报告，包含当前设置（模型、框架、硬件，未检测到时会询问）、快速见效优化、中等投入优化、高级优化，以及预估总体影响（延迟改善百分比、成本降低百分比、吞吐量提升倍数）。
适用场景
适用于需要对 LLM 推理服务进行性能与成本调优的场景，例如在自建或托管推理服务上优化响应速度、降低推理开销或提升并发处理能力。
限制
资料未提供该命令的收费、价格、平台兼容性、具体支持的框架版本等细节。配置文件与硬件信息的识别依赖实际环境，报告中未检测到的项会以询问或标记为未知的方式呈现。