SuperAPI AI 工具集

artifact-open-science

写作与研究

查看项目

更新于 10-16 03:33

技能介绍

Artifact Open Science 是一个专注于学术研究工件准备与开放科学发布的技能。它的核心用途是帮助研究者制作评审者和后续研究者真正能够运行、检查并引用的研究工件,适用于工件评审(artifact evaluation)、可复现性徽章申请、camera-ready 打包以及公开释放等场景。

在使用前,该技能要求先阅读若干参考文档,包括 artifact-open-science-policy.md、repository-contract.md、ethics-data-governance.md 以及 workflow-stage-contracts.md。这些文档构成工件治理、仓库契约、伦理与数据治理以及工作流阶段契约的基础。

工作流方面,首先需要识别工件类型,可选类型包括代码、数据集、基准测试、模型、用户界面、流水线、复现包或补充材料。然后明确定义该工件支持哪些研究主张(claims)。接着创建或更新 artifacts/artifact-checklist.md 清单文件。在适用时选择目标徽章路径,可选路径包括:Artifacts Available、Artifacts Evaluated Functional、Artifacts Evaluated Reusable、Results Reproduced 或 Results Replicated。此后需确保安装与运行说明保持新鲜、最小化并经过测试。还要将公开释放文件与私有数据、凭证、缓存以及大型本地输出分离。工件中应补充许可证、引用信息、预期运行时长、硬件要求、随机种子/配置以及已知限制。工件主张需与 experiments/、repro_outputs/、sources/、sota/ 和 wiki/ 等目录建立链接。还需更新 artifacts/badge-evidence-ledger.csv,记录徽章目标、证据路径、关联主张或结果 ID、命令或流程、验证状态以及检查日期。对于面向论文的特定发布,可运行 npm run workflow:release,并检查 paper_releases/release-ledger.csv、source maps、locks、校验和(checksums)以及当前合规配置。

项目质量方面,工件工作必须维护清晰的项目分区:发布候选保留在 artifacts/,可信复现证据放在 repro_outputs/,最终面向论文的导出放在 outputs/,探索性或诊断性材料放在 explore_outputs/ 或 debug_outputs/。不得将公开释放文件与私有数据、凭证、缓存、大型本地输出或未经验证的结果混在一起。

最低工件标准包括:提供一条命令即可运行的冒烟测试或清晰的手动路径;提供环境文件或依赖列表;提供数据访问/来源说明;说明预期输出;给出与论文主张的结果对比;说明伦理与许可证约束;当目标为 ACM 风格场所时,提供面向 ACM 工件评审的徽章特定证据。

该技能明确禁止以下行为:在没有治理说明的情况下发布敏感或许可受限数据;在期望脚本/命令行工具时仅交付 notebook 形式的工件;在只有探索性输出的情况下声称可复现。

审查循环与交接方面,需要审查工件的可用性、功能性、可复用性、复现主张、元数据、许可证、命令和发布证据。持续修复并重新审查,直到徽章和发布主张不存在阻塞性缺口。发布相关的具体工作交接给 paper-release,配置文件的检查交接给 badge-compliance-profiles。

该技能的分类可归为写作与研究类别,因为其核心面向学术研究工件的准备、评审与发布。