用途：帮助工程与产品团队对 AI/LLM 模型做结构化选型，比较维度包括基准表现、真实任务能力、每 token 推理成本、延迟（首 token 时间与吞吐）、上下文窗口、多模态能力、微调可用性、许可与数据隐私，并可评估开源与专有方案、嵌入模型选择以及高并发场景下的成本质量权衡。
主要能力：提供结构化比较框架、规模化成本建模、任务特定的一对一评测流程，以及面向新功能选型、RAG 嵌入模型选择、延迟敏感应用、专用领域能力评估的对比方法。
使用方式：先列出对本场景重要的维度并按重要性加权；选取 2–5 个候选模型（包含现用、最低成本与最高质量选项）；从生产数据中抽取 50–200 条真实样本构建任务评测集；用相同提示词跑基线，可选再用模型特定提示词测上限；按公式 (平均输入 token×输入价+平均输出 token×输出价)/1,000,000 计算单次调用成本并推算月成本；在预期并发下测量 TTFT、总延迟与吞吐；用“大海捞针”方式检验上下文窗口有效质量；得出加权评分矩阵；对前两名做 1–5% 流量生产试点；记录选型文档与复评条件。
适用场景：新功能模型选型、专有 API 与自托管开源模型取舍、RAG 嵌入模型选择、延迟敏感应用、面向干系人的换模论证。
限制：不适合从零构建评测基础设施（建议 eval-designer）、不适合微调或训练模型、不适合比较内部模型版本、不适合 ML 框架选型。公共基准难以预测生产表现；上下文中间位置质量可能下降；价格、SLA、限流等事实需按实际核对。具体定价、SLA 与模型参数以资料所述示例为准，实际使用前应核实。