SuperAPI AI 工具集

artifact-evaluation-prep

写作与研究

查看项目

更新于 10-13 14:45

技能介绍

Artifact Evaluation Prep 是一个研究制品评估准备技能,目标是把论文的代码、数据、检查点、脚本和说明整理为可交付给外部制品评审者的制品包,使评审者能够以尽量少的歧义复现论文面向的结论。

用途 该技能适用于以下情况:会议或期刊要求或提供制品评估、可复现性徽章或制品附录;用户需要面向评审者的安装、快速开始、演示或复现说明;camera-ready 或已录用论文需要交接制品包;需要打包代码、数据、检查点、模型、Docker 镜像或外部服务;需要明确运行时、硬件、随机种子、预期输出或排错说明;需要把论文中的结论映射到可运行脚本或已发布制品。

该技能明确不作为通用代码发布技能使用。公共仓库卫生、许可、CITATION 文件、标签和 GitHub release 应交给 release-code;本技能聚焦评审者面向的制品执行与结论复现。

与其他技能的配套关系:与 camera-ready-finalizer 配合以恢复已录用论文的义务与最终结论/证据状态;与 release-code 配合在制品义务明确后准备公共仓库卫生;与 reproducibility-audit 配合在环境、数据或执行漂移需要更广泛审计时使用;与 run-experiment 配合生成或测试复现命令;与 figure-results-review 配合在制品输出需匹配论文图表时使用;与 citation-audit 配合在制品元数据引用数据集、代码或既有制品时使用;与 research-project-memory 配合持久化制品状态、阻塞项与面向评审者的说明。

主要能力与工作流程 技能目录包含 SKILL.md 和 references/ 下的 artifact-audit.md、memory-writeback.md、package-manifest.md、report-template.md、reviewer-instructions.md。渐进加载要求始终读取 artifact-audit.md、package-manifest.md 和 reviewer-instructions.md;在写保存的制品评估报告前读取 report-template.md;当项目有 memory/、组件 .agent/ 文件夹或用户要求持久状态时读取 memory-writeback.md;若涉及会议规则,在断言截止日期、徽章名称、匿名规则、上传字段、页数限制或必需格式前,需核实当前官方制品评估说明。

核心原则包括:制品评估是评审者工作流而非单纯代码转储;制品必须能以可接受成本复现论文重要结论,或清楚记录无法复现的内容;优先提供一个可靠快速开始和一个完整复现路径,而非多个脆弱命令;每条命令应说明预期运行时、硬件、输入、输出和成功标准;只打包可再分发的数据、检查点和依赖,受限资产需精确记录;保持匿名、许可和外部服务假设明确;冒烟测试为必需项,未经测试的说明文件不构成制品包。

步骤流程 第 1 步,恢复评估上下文:收集会议与制品评估方向(若已知)、官方制品说明、徽章标准、匿名政策与上传机制;已录用或已投稿论文、附录、补充材料与清单;代码仓库、commit hash、分支与工作树;数据集、检查点、预训练模型、生成输出与外部依赖;硬件预期(CPU/GPU 类型、内存、磁盘、运行时、网络访问);制品应支持的论文结论、图表与实验;约束条件(私有数据、许可限制、大文件、云依赖、非确定性或评审者时间预算)。若未指定会议,则产出与会议无关的制品包,但把会议特定字段标注为未解决。

第 2 步,把结论映射到制品路径:对每个论文面向的结论或结果记录结论或结果 ID、论文位置、支持它的脚本/notebook/配置/命令、输入数据或检查点、预期输出文件/指标/表/图、大致运行时与硬件、确定性容差或预期方差、评审者优先级(快速开始、核心、可选或包内不可复现)。若只提供冒烟测试或缓存输出,不得暗示完全可复现。

第 3 步,构建制品清单:读取 package-manifest.md,创建或更新清单,列出仓库 URL 或归档路径、精确 commit/tag/校验和、目录结构、环境文件与 Docker 镜像、数据与检查点位置、复现脚本与配置、预期生成输出、许可与引用元数据、已知限制与不支持的结论。除非会议要求特定文件名,优先使用 ARTIFACT.md、REPRODUCE.md 或 docs/artifact_evaluation.md 等小而稳定的名称。

第 4 步,编写评审者说明:读取 reviewer-instructions.md,提供安装命令、短运行时预算下的快速冒烟测试、主要论文结论的核心复现命令、预期输出及其与论文对比方式、常见失败的排错、硬件/存储/网络与时间要求、联系政策或被允许的匿名支持渠道、限制与可选扩展运行。说明应可复制粘贴,不应要求评审者推断隐藏路径或环境变量。

第 5 步,冒烟测试制品:在用户与环境允许时,至少运行环境创建或依赖解析、import 或 CLI 健全性检查、快速开始命令、一次代表性数据/检查点加载、一次预期输出对比。若命令成本过高,记录确切原因并创建最小替代测试。

第 6 步,处理打包风险:审计匿名化与公开发布状态、代码/数据/预训练权重/第三方资产的许可、大文件策略与校验和、私有路径/凭证/API 密钥/机器特定假设、随机种子与非确定性、版本固定与依赖冲突、评审者时间预算与失败恢复。公开发布问题交给 release-code;环境漂移交给 reproducibility-audit(若可用)。

第 7 步,撰写制品评估报告:读取 report-template.md。若保存到项目且未给路径,使用 docs/submission/artifact_evaluation_prep_YYYY-MM-DD.md。报告必须包含就绪决定、阻塞问题、结论到制品映射、包清单摘要、冒烟测试状态、评审者说明状态、风险/限制/面向评审者的注意事项、向 release、camera-ready 或 memory 的交接。

第 8 步,写回项目记忆:当 memory 存在时读取 memory-writeback.md,更新制品状态、复现命令、阻塞项、结论支持、发布动作与最终交接说明,但不把完整命令日志复制进 memory。

适用场景 适用于会议或期刊制品评估、可复现性徽章、制品附录的准备;适用于 camera-ready 或已录用论文的制品包交接;适用于需要面向评审者整理安装、快速开始、演示与复现说明的项目;适用于需要打包代码、数据、检查点、模型、Docker 镜像或外部服务的研究工作;适用于需要明确运行时、硬件、随机种子、预期输出与排错说明的场景;适用于把论文结论映射到可运行脚本或已发布制品。

限制 该技能不是通用代码发布技能,公共仓库卫生、许可、CITATION 文件、标签和 GitHub release 需使用 release-code。制品必须能以可接受成本复现论文重要结论,或清楚记录无法复现的内容。若只提供冒烟测试或缓存输出,不得暗示完全可复现。若会议规则重要,需在断言截止日期、徽章名称、匿名规则、上传字段、页数限制或必需格式前核实当前官方说明。冒烟测试为必需项,未经测试的说明文件不构成制品包。制品包只应包含可再分发的数据、检查点和依赖,受限资产需精确记录。