SuperAPI AI 工具集

problem-bank

编程与开发

查看项目

更新于 11-10 01:15

技能介绍

Problem Bank 是一个用于审计 DSA 题库覆盖缺口的技能,属于 athola/claude-night-market 仓库中的 gauntlet 插件。当题库需要进行覆盖审查时,可通过 Skill(gauntlet:problem-bank) 调用。

用途 该技能用于调查 DSA 题库、识别覆盖缺口,并提出新的 YAML 条目供人工审核。它不同于 gauntlet:curate(后者处理逐条标注的知识捕获,由 /gauntlet-curate 命令调用)。

主要能力

  • 定位题库目录 plugins/gauntlet/data/problems/。
  • 读取 _manifest.yaml,加载每个类别期望的 NeetCode 题目数量。
  • 统计各 YAML 文件(跳过 _manifest.yaml)中的题目数量,调查当前覆盖情况。
  • 运行分析脚本:cd plugins/gauntlet && python scripts/curate_problems.py data/problems/ --output /tmp/problem-bank-report.md。
  • 识别缺口:实际数量低于 manifest 中 neetcode_count 的类别。脚本按缺口从大到小排序,最严重的短缺排在最前。
  • 在提出新增题目之前,审查每个缺口类别中已有题目,了解已覆盖内容。
  • 按照指定 schema 提出新的 YAML 条目,并将提案添加到报告的“Proposed New Problems”部分。
  • 通过运行校验脚本验证提案:python -c "import yaml, sys; sys.path.insert(0, 'src'); from gauntlet.models import BankProblem; proposals = yaml.safe_load(open('proposals.yaml')); [BankProblem.from_dict(p) for p in proposals]; print('All proposals valid.')"。
  • 将报告提交给人工审核,报告包含覆盖表、缺口列表和提案条目。由人工决定哪些提案合并到 YAML 文件中。

使用方式 调用 Skill(gauntlet:problem-bank)。技能会执行上述步骤,生成 markdown 报告到 --output 指定的路径。报告包含:覆盖摘要表(每个类别的期望值与实际值对比)、按缺失数量排序的缺口列表、新提案的 YAML schema 模板,以及供人工审核者添加提案条目的空间。任何 YAML 文件变更前都需要人工审核。

问题 Schema 每个提案条目必须遵循以下 schema:

  • id: category-NNN title: Problem Title difficulty: easy # easy | medium | hard | extra_hard prompt: | Problem statement with constraints and examples. hints:
    • First hint.
    • Second hint. solution_outline: | Approach and time/space complexity. tags: [tag1, tag2] neetcode_id: neetcode-NNN challenge_type: explain_why # explain_why | multiple_choice | trace # | code_complete | debug | rank 必填字段:id、title、difficulty、prompt。可选字段默认为空值。

安全约束

  • 绝不直接修改 data/problems/ 下的文件。
  • 绝不使用 --write 或 --fix 标志运行:脚本有意不提供这些标志。
  • 所有输出都是供人工批准的建议报告。
  • 现有手工整理的题目永远不会被触碰。

输出 在 --output 指定的路径生成 markdown 报告,包含:覆盖摘要表(每个类别的期望值与实际值对比)、按缺失数量排序的缺口列表、新提案的 YAML schema 模板、供人工审核者添加提案条目的空间。任何 YAML 文件变更前都需要人工审核。

退出标准

  • 脚本无错误运行,并在 --output 指定的路径(例如 /tmp/problem-bank-report.md)生成 markdown 报告。
  • 报告包含覆盖摘要表,对比 _manifest.yaml 中每个类别的期望 neetcode_count 与实际数量,缺口按从大到小排序。
  • plugins/gauntlet/data/problems/ 下没有文件被修改;所有提案仅出现在报告的“Proposed New Problems”部分。
  • 每个提案 YAML 条目在出现在报告中之前,都通过 BankProblem.from_dict() 校验(必填字段:id、title、difficulty、prompt)。

不适用场景

  • 标注此代码库而非题库(应使用 gauntlet:curate)。
  • 重建知识库(应使用 gauntlet:extract)。