Problem Bank 是一个用于审计 DSA 题库覆盖缺口的技能,属于 athola/claude-night-market 仓库中的 gauntlet 插件。当题库需要进行覆盖审查时,可通过 Skill(gauntlet:problem-bank) 调用。
用途 该技能用于调查 DSA 题库、识别覆盖缺口,并提出新的 YAML 条目供人工审核。它不同于 gauntlet:curate(后者处理逐条标注的知识捕获,由 /gauntlet-curate 命令调用)。
主要能力
- 定位题库目录 plugins/gauntlet/data/problems/。
- 读取 _manifest.yaml,加载每个类别期望的 NeetCode 题目数量。
- 统计各 YAML 文件(跳过 _manifest.yaml)中的题目数量,调查当前覆盖情况。
- 运行分析脚本:cd plugins/gauntlet && python scripts/curate_problems.py data/problems/ --output /tmp/problem-bank-report.md。
- 识别缺口:实际数量低于 manifest 中 neetcode_count 的类别。脚本按缺口从大到小排序,最严重的短缺排在最前。
- 在提出新增题目之前,审查每个缺口类别中已有题目,了解已覆盖内容。
- 按照指定 schema 提出新的 YAML 条目,并将提案添加到报告的“Proposed New Problems”部分。
- 通过运行校验脚本验证提案:python -c "import yaml, sys; sys.path.insert(0, 'src'); from gauntlet.models import BankProblem; proposals = yaml.safe_load(open('proposals.yaml')); [BankProblem.from_dict(p) for p in proposals]; print('All proposals valid.')"。
- 将报告提交给人工审核,报告包含覆盖表、缺口列表和提案条目。由人工决定哪些提案合并到 YAML 文件中。
使用方式 调用 Skill(gauntlet:problem-bank)。技能会执行上述步骤,生成 markdown 报告到 --output 指定的路径。报告包含:覆盖摘要表(每个类别的期望值与实际值对比)、按缺失数量排序的缺口列表、新提案的 YAML schema 模板,以及供人工审核者添加提案条目的空间。任何 YAML 文件变更前都需要人工审核。
问题 Schema 每个提案条目必须遵循以下 schema:
- id: category-NNN
title: Problem Title
difficulty: easy # easy | medium | hard | extra_hard
prompt: |
Problem statement with constraints and examples.
hints:
- First hint.
- Second hint. solution_outline: | Approach and time/space complexity. tags: [tag1, tag2] neetcode_id: neetcode-NNN challenge_type: explain_why # explain_why | multiple_choice | trace # | code_complete | debug | rank 必填字段:id、title、difficulty、prompt。可选字段默认为空值。
安全约束
- 绝不直接修改 data/problems/ 下的文件。
- 绝不使用 --write 或 --fix 标志运行:脚本有意不提供这些标志。
- 所有输出都是供人工批准的建议报告。
- 现有手工整理的题目永远不会被触碰。
输出 在 --output 指定的路径生成 markdown 报告,包含:覆盖摘要表(每个类别的期望值与实际值对比)、按缺失数量排序的缺口列表、新提案的 YAML schema 模板、供人工审核者添加提案条目的空间。任何 YAML 文件变更前都需要人工审核。
退出标准
- 脚本无错误运行,并在 --output 指定的路径(例如 /tmp/problem-bank-report.md)生成 markdown 报告。
- 报告包含覆盖摘要表,对比 _manifest.yaml 中每个类别的期望 neetcode_count 与实际数量,缺口按从大到小排序。
- plugins/gauntlet/data/problems/ 下没有文件被修改;所有提案仅出现在报告的“Proposed New Problems”部分。
- 每个提案 YAML 条目在出现在报告中之前,都通过 BankProblem.from_dict() 校验(必填字段:id、title、difficulty、prompt)。
不适用场景
- 标注此代码库而非题库(应使用 gauntlet:curate)。
- 重建知识库(应使用 gauntlet:extract)。