SuperAPI AI 工具集

prompt-engineer-toolkit

智能体与模型

查看项目

更新于 10-15 17:28

技能介绍

用途:为生产级 AI 应用设计、测试、版本化与评估提示词,把提示词当作生产代码对待,而非零散技巧。

主要能力:提示词模式涵盖 6 层系统提示架构、思维链(标准、草稿纸、自洽性)、少样本设计与动态选择、JSON/分节输出结构、分解流水线、校准(温度与置信度)。测试框架包含测试用例结构、套件构成(40/30/15/15)、五维自动评分量规与加权公式,以及回归测试协议。版本管理提供版本控制布局、含理由/基线/回滚的变更日志格式与提示词差异风险清单。另含失败模式目录(指令覆盖、格式漂移、谄媚、冗长、幻觉、锚定、中间失落)及对应修复,以及设计提示词、调试退化提示词、跨模型迁移三条生命周期流程。

使用方式:先用脚本工具。eval_scorer.py 按 JSON 测试用例评分;prompt_analyzer.py 分析提示词清晰度、指令密度、少样本覆盖与 token;prompt_diff.py 比较两版提示词的结构变化与风险。命令示例:python scripts/eval_scorer.py suite.json --fail-under 0.80 --json;python scripts/prompt_analyzer.py my_prompt.txt --json;python scripts/prompt_diff.py v2.txt v3.txt --show-diff --json。设计或测试前需确认任务与“好”的定义、目标模型、生命周期阶段;若用户要求直接起草,则先列出假设。

适用场景:设计生产提示词或构建提示词库、对提示词变体做 A/B 或回归测试、对版本变更设置评分门禁、调试退化提示词或跨模型迁移提示词。

限制:不覆盖模型微调与训练、RAG 检索架构、智能体编排与多步工具调用、LLM 基础设施托管与成本优化。具体收费、价格、平台与效果资料暂未提供。