SuperAPI AI 工具集

skill-feedback-collection

编程与开发

查看项目

更新于 10-16 05:59

技能介绍

用途

Skill Feedback Collection 是一个在编码任务结束后运行的反馈收集技能。它的触发时机是:任何一次会话中加载过一个或多个 SKILL.md 文件,就在会话末尾运行它。目标是把“哪些做得好、哪些没做好、哪些内容缺失”结构化地记录下来,让技能维护者能够改进未来版本。

它同时覆盖元技能反馈——即关于脚手架过程本身的反馈。当在运行 domain-discovery、tree-generator 和 generate-skill 之后调用它时,把这三个元技能当作被评估的“技能”,记录每个脚手架阶段中哪些有效、哪些无效,从而改进这些元技能。

主要能力

该技能把反馈收集拆成四个阶段。

阶段一:自动信号收集

先回顾自己的会话记录,此阶段无需人工交互。

1a 技能清单:在分析缺口和错误之前,先盘点会话期间所有可用的技能,分为两类——已加载并使用(读过并主动遵循的技能)、可用但未加载(已安装、可通过 npx @tanstack/intent@latest list 发现但从未读过的技能)。这一点很重要,因为很多问题源于智能体没有加载正确的技能,而不是技能本身有错。

1b 缺口检测:找出技能保持沉默、需要自己通过读代码、搜索、试错或通用知识来弥补的时刻。对每个缺口记录:需要做什么、技能本应告知什么、自己是如何解决的。

1c 错误/纠正追踪:找出技能给出的方法导致错误的时刻。对每个错误记录:技能说了什么、产生了什么错误或不当行为、自己应用了什么修复。

1d 人工干预事件:找出人类澄清、纠正或推翻自己方法的时刻。对每次干预记录:当时在做什么、人类说了或改了什么、技能本能否避免这一点。

1e 步骤耗时异常:找出与表面复杂度相比消耗了不成比例精力的步骤,这些信号说明技能应提供模板、代码片段或更详细的指引。

阶段二:人工访谈

向人类提出最多 4 个问题,保持简短;如果会话已提供明确答案就跳过,尊重对方拒绝回答。问题包括:任务过程中是否有不清楚的地方?是否有令人沮丧或耗时超出预期的地方?是否曾对输出质量感到不确定?下次希望有什么不同做法?根据整体情绪推导 userRating:大多正面为 good,信号混杂为 mixed,大多负面为 bad;如果人类给出明确评分,则采用该评分。

阶段三:构建反馈

为每个实际使用的技能写一份 Markdown 反馈文件。只包含会话中真正使用过的技能,跳过已加载但从未引用的技能。模板包含以下字段:标题(来自 SKILL.md frontmatter 的技能名)、Package(包含该技能的 npm 包名)、Skill version(frontmatter 中的 metadata.version 或 library_version)、Rating(good | mixed | bad)、Task(用一句话概括人类的要求)、Skills Inventory(已加载并使用 / 可用但未加载)、What Worked、What Failed、Missing、Self-Corrections、User Comments。技能还提供了字段来源对照表,说明每个字段从何处取值。

阶段四:提交

从技能的包确定目标仓库,通常可从包的 package.json 中的 repository 字段或 SKILL.md frontmatter 中的 sources 字段推导。

提交前先检索已有 issue/discussion:用 gh search issues 或 GitHub 网页搜索,以 What Failed 和 Missing 部分的关键词查找目标仓库中匹配的已有 issue 或 discussion。如果已有开放 issue 描述同一问题,就在其上评论反馈而不是新建重复项,并在评论中引用技能名和版本。如果已关闭的 issue 描述的问题技能仍然出错(回归或技能内容过时),在新反馈 issue 正文中引用该已关闭 issue。如果 discussion 覆盖同一主题,在反馈 issue 正文中链接它,让维护者看到社区背景。

隐私检查:提交前判断用户项目是公开还是私有,可用 gh repo view --json visibility 或查看项目 package.json 中的 private 字段;无法判断时按私有处理。私有仓库的反馈会提交到公开 issue 跟踪器,因此不得包含项目特定细节,提交前需从所有字段中剥离项目特定代码、文件路径、内部 API 名称、服务 URL 或业务逻辑;把 Task 字段改写为通用任务类型描述;把 What Failed 和 Missing 条目改写为只引用技能自身的 API 和模式,而非用户代码;向用户展示脱敏后的反馈并请其确认可以安全提交后再继续。公开仓库无需脱敏,直接提交。

如果 gh CLI 可用,直接作为 GitHub issue 提交:gh issue create --repo [owner/repo] --title "Skill Feedback: [skill-name] ([rating])" --label "skill:[skill-name]" --body-file intent-feedback.md。如果标签不存在,省略 --label 标志,不要让缺失的标签阻塞提交。提交成功后删除反馈文件。如果 gh CLI 不可用,告知人类:反馈已写入 intent-feedback.md,要提交请打开 https://github.com/[owner/repo]/issues 并粘贴内容。

使用方式

在加载过 SKILL.md 的编码会话结束时运行本技能,按阶段一至阶段四依次执行:先自动回顾会话记录并盘点技能、检测缺口、追踪错误与人工干预、识别耗时异常;再向人类提出最多四个简短问题并推导评分;然后为每个实际使用的技能生成一份 Markdown 反馈文件;最后确定目标仓库、检索已有 issue/discussion、执行隐私检查,并通过 gh CLI 提交或提示人工提交。

适用场景

适用于任何加载过一个或多个 SKILL.md 文件的编码会话结束之后,用于向技能维护者反馈使用体验。也适用于元技能反馈场景:在运行 domain-discovery、tree-generator、generate-skill 之后,把这三个脚手架阶段作为被评估对象收集反馈。

限制

反馈文件只包含会话中真正使用过的技能,已加载但从未引用的技能应跳过。私有仓库的反馈必须脱敏并需用户确认后才能提交。提交依赖 gh CLI;若不可用,只能提示人工到 GitHub 仓库的 issues 页面粘贴提交。无法判断仓库可见性时按私有处理。