SuperAPI AI 工具集

prompt-tuning

智能体与模型

查看项目

更新于 10-15 22:13

技能介绍

用途:这是一套经验式提示词调优方法论,用于迭代改进面向智能体的指令,包括技能(skills)、斜杠命令、CLAUDE.md 片段和代码生成提示。核心观点是提示词作者无法客观判断自己写的提示质量,因此需由无偏见的执行者实际运行指令、双向评估并迭代,直到改进趋于停滞。

适用时机:刚创建或大幅修改技能/斜杠命令/任务提示后;智能体行为不符预期且怀疑源于指令歧义时;加固高重要性指令(高频技能、自动化核心提示)时。不适用:一次性用完即弃的提示;目标只是反映作者主观偏好而非提升成功率。

工作流程:迭代 0 做描述与正文一致性静态检查(无需派发),比对 frontmatter 描述声称的触发条件与正文实际覆盖范围,输出 PASS、PASS-with-note 或 BLOCK-consistency。基线准备:冻结被测提示版本,设计 2 至 3 个评估场景(至少 1 个中位典型场景和 1 个边缘场景),并预先固定 3 至 7 项需求清单用于计算准确率;清单项应判断交付物属性而非运行时机制。随后通过 Agent 工具派发空白执行者读取指令,先做可调用性预检(工具注册表检查、试派发、空子智能体检测),不可调用则走环境约束跳过路径。执行后做双向评估:记录执行者自述的模糊点、自由裁量填补,按理解/规划/执行/格式化阶段归类,并以问题/原因/通用修复规则结构化反思。度量包括成功失败(二元)、准确率、步数、时长、重试次数。应用最小修复,每轮一个主题,修复前说明满足哪条判断措辞,并先查阅失败模式台账。用新子智能体重新评估,连续 2 轮无新模糊点且指标改进低于阈值即收敛,高重要性提示需 3 轮。

评估轴:成功/失败、准确率、步数、时长、重试次数、模糊点、自由裁量填补;定性为主、定量为辅。tool_uses 的定性解读可揭示结构缺陷,如某场景步数远超其他说明技能自包含性不足。修复传播存在保守摆动、过冲、零射三种模式。

限制:具体安装命令、平台支持与收费信息暂未提供。