用途:用于优化提示词、设计提示模板、用评估集评测 LLM 输出、测量 RAG 检索质量并验证智能体/工具工作流。设计为模型无关,不硬编码模型 ID 或定价,如需费用数字由用户提供当前费率。
核心工具(均为标准库 CLI):
- 提示优化器 scripts/prompt_optimizer.py:静态分析 token 估算、清晰度/结构评分(0–100)、歧义与冗余检测、少样本示例提取。常用命令包括:python3 scripts/prompt_optimizer.py prompt.txt --analyze;python3 scripts/prompt_optimizer.py prompt.txt --analyze --json --output baseline.json;--tokens 配合 --model claude --price-per-mtok 3.00;--optimize;--extract-examples;以及用 --compare baseline.json 对比基线。--model 接受任意字符串,仅推断分词器家族。
- RAG 评估器 scripts/rag_evaluator.py:从两个 JSON 文件测量检索与 grounding 质量,参数 --contexts、--questions、--k、--json、--output、--verbose、--compare。报告上下文相关性、precision@k、覆盖率、答案忠实度与 groundedness。相关性低于 0.80 应视为检索问题而非提示问题。
- 智能体编排器 scripts/agent_orchestrator.py:校验 YAML/JSON 智能体配置的工具接线、缺失配置、循环风险与 token 估算;命令如 --validate、--visualize --format mermaid、--estimate-cost --runs 100 配合输入/输出价格参数。
工作流要点:任何提示改动前先建立基线并保存指标;先有评估集(10–20 个代表性用例)再优化;优先使用平台原生结构化输出、工具调用与提示缓存,而非提示层格式强制;当前代模型无需反射式添加思维链、角色设定或少样本;成本数字必须用户提供。提供提示优化、结构化输出设计、RAG 调优循环与智能体配置审查流程,并配套参考文档与相关技能说明。限制:正文未提供安装方式、平台要求与具体定价。