用途
LLM Architect 为大规模语言模型系统的设计、部署和优化提供专家级架构支持。其目标是在需求、模型选型、服务基础设施、成本与安全之间做出可执行的工程决策，最终形成从需求到生产的端到端 LLM 系统方案。
主要能力
- 模型选型：根据延迟、预算、领域相关性和批处理容忍度推荐模型方案。
- RAG 与微调决策：通过决策树判断应采用检索增强生成、微调还是提示工程。
- 架构模式设计：包含 API 网关与限流、按意图/复杂度路由的请求路由器、快慢双模型、缓存层、响应聚合、日志与监控的典型架构。
- 成本优化：提供语义缓存、多模型路由、提示压缩、批处理、小模型级联等策略及其适用条件。
- 安全与合规：内容过滤、PII 检测与脱敏、提示注入防御、输出校验、审计日志与合规校验清单。
- 评估与迭代：在评估数据集上运行基准测试，跟踪准确率、P95 延迟和单位请求成本，并提供迭代检查清单与升级信号（如准确率、延迟、成本、幻觉率异常时）。
使用方式
该技能以工作流形式调用，核心步骤包括：
- 需求收集：明确 P95 响应时间、请求规模与增长、可接受的最低质量指标、成本约束、已有评估数据与敏感级别、合规要求（如 HIPAA、GDPR、SOC2）。
- 模型选择：依据延迟与预算条件给出推荐模型或方案。
- 原型与评估：使用评估脚本在评估数据集上运行模型，获取准确率、延迟与成本指标。
- 迭代检查：核对延迟、准确率、成本、安全护栏、监控面板与运行手册是否达标，未达标则采取相应优化动作。
资料中给出的评估命令示例为：
python scripts/evaluate_model.py \
--model claude-3-sonnet \
--dataset data/eval_1000_examples.jsonl \
--metrics accuracy,latency,cost
同时，资料提到可参考 REFERENCE.md（RAG 实现工作流、语义缓存模式、部署配置）与 EXAMPLES.md（反模式、LLM 系统质量清单、弹性 LLM 调用模式）。
适用场景
- 从需求到生产设计端到端 LLM 系统。
- 为特定用例选择模型和服务基础设施。
- 实现 RAG 流水线。
- 在维持质量阈值的前提下优化 LLM 成本。
- 构建安全护栏与合规机制。
- 规划微调、RAG 与提示工程之间的策略选择。
- 为高吞吐应用扩展 LLM 推理。
限制与不适用情况
在以下情况不应调用该技能：已有简单 API 集成（应使用 backend-developer）；仅需提示工程而不涉及架构决策；从零训练基础模型（资料称这几乎总是错误的做法）；与语言模型无关的通用机器学习任务（应使用 ml-engineer）。
关于该技能的收费、价格、具体平台、实际效果或未在资料中列出的使用步骤，暂未提供。