SuperAPI AI 工具集

nemo-gym-blade-analysis

写作与研究

查看项目

更新于 10-16 07:24

技能介绍

用途:把 NeMo Gym 的 rollout 输出转化为分析报告、基准卡片、模型对比、基准改进建议或 BLADE-ready 基准包;也用于撰写基准方法说明、判断基准是否具备全部 BLADE 交付物。

主要能力:收集 rollout JSONL、聚合指标 JSON、reward profile JSONL、报告目录、配置与数据集元数据;计算 pass@1、pass@k、consistency、coverage、retry value 等指标;构建工作流漏斗,将任务分为 always-pass、sometimes-pass、never-pass 与缺失;对比通过/失败轨迹,按时间顺序检查 never-pass 轨迹;用 KG、UK、BI、TI、IR、DA 分类根因并映射到数据、提示、智能体流程、验证器修复、环境可靠性、SFT、RL 等行动。

使用方式:先确认工件集合,缺失时明确说明无法支撑的结论。需要构建或审查 BLADE 基准时加载 references/blade-benchmark-build-guide.md。外部 BLADE 工具不可用时使用本地脚本:uv run python scripts/blade_toolkit.py validate --benchmark-dir <benchmark_dir>,以及 extract-anchor-facts、make-shallow、calibrate 子命令。默认不加载基准专属示例;仅在用户明确要求 CVDP 示例或需要具体范例时加载 references/cvdp-report-example.md 与 references/nemotron-analysis-artifacts/。

报告结构:执行摘要、工件清单、聚合结果、工作流漏斗、任务结果分桶、主要失败模式、sometimes-pass 深入分析、never-pass 深入分析、跨模型对比、建议、可复现性说明。

限制:所有主要结论须绑定行数、任务 id、rollout id、日志、验证器消息等证据;缺失行、超时、格式错误视为一等结果;不得在可分享报告中包含私有代码、端点、凭据、用户名或未发布基准名;基准专属指标保留原名与定义;资料未提供具体价格、平台支持范围与效果保证。