用途:围绕提示词工程、LLM 评估框架与智能体系统设计,提供静态(确定性)分析工具,用于优化提示、评估 RAG 检索与生成质量,并校验和可视化智能体工作流,附提示模式、评估指标与智能体架构参考库。
主要能力:提示优化,包括 token 计数与成本估算、清晰度/结构评分、歧义与冗余检测及生成优化版本;few-shot 与结构化输出设计,可提取管理示例、设计多样示例集(简单/边界/复杂/负例)并强制可靠 JSON/XML 输出;RAG 评估,覆盖上下文相关性、答案忠实度、接地性(ROUGE-L)与检索指标(Precision@K、MRR、NDCG),仅针对已检索上下文评分;智能体设计,可校验配置、输出 ASCII/Mermaid 流程、估算每次运行 token 成本,应用 ReAct、Plan-Execute、Tool-Use、多智能体模式;模式库含 10 种提示模式、评估框架与带伪代码的架构。
使用方式:运行 python scripts/prompt_optimizer.py prompt.txt --analyze 分析与优化提示;python scripts/rag_evaluator.py --contexts ctx.json --questions q.json 评估 RAG;python scripts/agent_orchestrator.py agent.yaml --validate 校验智能体配置。按任务加载 references 下的工具与工作流、提示模式、评估框架、智能体设计等参考文件。
适用场景:优化现有提示性能或降低 token 成本;设计提示模板、few-shot 示例或结构化输出流程;评估 LLM 输出及 RAG 检索/生成质量;构建或校验智能体与工具调用流程。
限制:不包含实时 LLM 调用或运行时提示测试,全部为静态/确定性分析;不涉及向量数据库搭建或嵌入生成,仅评分已检索上下文;不含微调、RLHF 或模型训练;不含生产监控、A/B 测试执行或实时漂移检测。可与机器学习工程、数据科学、数据工程、全栈、安全、QA 等技能衔接。具体价格、平台支持等信息暂未提供。