SuperAPI AI 工具集

prompt-engineer-agent-prompts-evals

智能体与模型

查看项目

更新于 10-16 04:58

技能介绍

用途:面向使用工具的智能体,指导提示工程与评测工作。适用于编写或重构系统/开发者提示、设计模型需正确选择的工具描述与参数模式、构建黄金数据集与场景套件(多轮、失败、边界情况)、实现离线评测框架与提示的CI回归、定义LLM评审规则与人工校准样本、在提示或工具列表变更时设置发布门禁,以及调试智能体轨迹中的工具选择错误、循环或格式中断。

主要能力:涵盖六类核心工作流——智能体提示结构(系统与开发者消息、工具块、约束、交接)、评测数据集(黄金集、覆盖矩阵、合成与专家标注样本)、评测框架与指标(离线运行、通过/失败、工具准确率、轨迹检查)、评审与规则(LLM评审设计、偏差控制、人工一致性)、版本与回归(提示语义化版本、基线、CI门禁、回滚)、场景目录(多轮、工具错误、拒绝、升级案例)。

使用方式:按需加载参考文档,提示对应agent_system_prompts.md,数据对应eval_dataset_design.md,框架对应eval_harness_patterns.md,评审对应llm_judge_rubrics.md,CI对应prompt_versioning_regression.md,场景对应agent_eval_scenarios.md。输出标准要求每个评测用例包含输入、预期行为(不总是精确文本)与标签;工具模式变更需在PR描述中附评测差异;评审规则需公布评分量表与已知失败模式;生产提示变更前必须在黄金集上做基线对比。

适用场景:工具型智能体的提示与评测开发、发布门禁与回归管理。

限制:不适用于无智能体/评测重点的通用提示模式、端到端RAG索引与检索服务、越狱与滥用红队、组织级模型推广与事故运维、跨产品token成本项目、垂直团队管理与发布PM、提示/评测团队管理与治理。资料未提供具体安装命令、收费或平台信息。