用途：对代码库中所有 LLM 驱动的功能做一次严格审计，覆盖模型时效性、提示词质量、评测覆盖度、可观测性与 CI/CD 集成，并据此制定修复计划、执行变更与验证。核心理念：模型迭代极快，不得信任训练数据或缓存知识，必须联网检索当前最优模型；提示词即代码，应有版本控制、测试、评审与文档；评测即测试，无评测等于发布未测试代码；每次 LLM 调用都应可追踪。
主要能力与流程：1) 审计：联网搜索当前 SOTA 与各提供商最新旗舰模型，用 grep 扫描代码中所有模型字符串并逐一核实可用性与适用性，标注硬编码、无版本后缀等风险；使用 OpenRouter 时用脚本核实各模型 supported_parameters，结构化输出建议用 strict: true、为每个 schema 属性加 description、设置 provider: { require_parameters: true }、启用 response-healing 插件并配置模型回退与用量日志；按 Role + Objective + Latitude 原则审查提示词，识别过度规定步骤、防御性过度约束等反模式；检查 Promptfoo 配置、测试用例数量与红队配置；检查 tracing 插桩与 Langfuse 环境；检查 CI 评测门禁与文档。2) 计划：按严重、高、中优先级排序修复项。3) 执行：将模型改为环境变量并集中配置，在 .env.example 中说明用途；重写低质量提示词；用 npx promptfoo@latest init 创建评测套件（golden、regression、security、benchmarks），配置 promptfooconfig.yaml 含成本阈值、注入抵抗测试与 redteam 插件；封装带 Langfuse tracing 的统一 LLM 客户端；添加 CI 工作流在提示词变更时运行评测并在失败时 exit 1；编写文档。4) 验证：运行 npx promptfoo@latest eval、npx promptfoo@latest redteam run，检查 tracing 与 CI 触发，确认无硬编码模型字符串。
限制：资料未提供该技能的具体版本、作者、安装方式、适用平台与收费信息，暂未提供。使用前需确认相关依赖（Promptfoo、Langfuse 等）已可用。