Model Card Writer 是一个面向机器学习研究的文档生成技能,用于记录模型、数据集和工件,使使用者、评审人和研究社区能够理解构建了什么、模型擅长什么、在哪里会失败,以及如何负责任地使用它。
用途
该技能适用于以下场景:公开释放模型检查点(GitHub、HuggingFace、Zenodo);会议投稿要求提供模型卡、数据表或可复现性声明;工件评估包需要包含声明、环境和预期输出的 README;发布数据集并需要按照 Gebru 等人格式编写数据表;填写 NeurIPS/ICLR 清单中的可复现性部分。
该技能不用于撰写论文的主要贡献或结果——那应使用 paper-writing-assistant。也不用于准备完整投稿包——那应使用 submit-paper 或 camera-ready-finalizer。
建议搭配使用:当工件要参加正式工件评估时,搭配 artifact-evaluation-prep;在撰写模型卡前准备代码仓库时,搭配 release-code;当模型卡是相机就绪材料的一部分时,搭配 camera-ready-finalizer;当模型卡内容需要总结进论文附录时,搭配 appendix-organizer。
技能目录结构
<installed-skill-dir>/ ├── SKILL.md └── templates/ ├── model-card.md └── datasheet.md
渐进式加载
撰写模型卡时读取 templates/model-card.md。为数据集撰写数据表时读取 templates/datasheet.md。填写性能与局限性部分时读取 memory/claim-board.md 和 memory/evidence-board.md。在可用时读取论文摘要和贡献部分。
核心原则
模型卡是沟通性文档,不是营销文档。局限性和失败模式与性能主张同等重要。模型卡中的每一项性能主张都应与论文使用相同的证据支撑。需要明确范围:模型针对哪些任务、领域和用例。超出范围的使用应明确写出:误用是可预见的,应当加以说明。偏见、公平性和社会影响披露保护用户和研究团队。模型卡应与实际发布的检查点保持同步——过期的模型卡会产生误导。
步骤 1——选择文档类型
model-card:记录已发布模型检查点、预期用途、性能和局限性;datasheet:记录已发布数据集的构成、收集、预处理和预期用途(Gebru 等人 2018 格式);repro-statement:论文投稿的简短可复现性声明(NeurIPS/ICLR 风格);artifact-readme:工件评估包的 README。
步骤 2——收集模型/数据集信息
模型卡需要收集:模型名称和版本;模型类型(架构、参数量、预训练目标);训练数据(数据集名称、大小、许可证);预期任务和领域;评测结果(标准基准和论文特定任务的指标);已知局限性(失败模式、分布外行为、偏见);训练使用的硬件和算力;代码和检查点的发布位置。
数据表需要收集:数据集名称和版本;收集方法(网络抓取、人工标注、传感器数据等);标注协议和标注者间一致性(如适用);数据集大小和格式;训练/验证/测试划分设计;已知偏见或代表性缺口;许可证和使用条款;PII、敏感内容或同意方面的考虑。
步骤 3——撰写文档
使用 templates/model-card.md 或 templates/datasheet.md。保存位置:模型卡保存到 <release-dir>/MODEL_CARD.md;数据表保存到 <release-dir>/DATASHEET.md;可复现性声明保存到 paper/.agent/reproducibility-statement.md 或直接写入论文附录;工件 README 保存到 artifact/README.md 或 <artifact-dir>/README.md。
步骤 4——可复现性声明(会议要求)
对于 NeurIPS/ICLR/ICML 投稿,可复现性声明应包含:哪些代码可用(URL,或“录用后发布”);训练硬件(GPU 类型、数量);主结果的总算力(GPU 小时);论文或附录中报告了哪些超参数;结果是否在多个随机种子上平均以及数量;模型检查点是否可用。对于 NeurIPS,这成为清单中的一项回答;对于 ICLR,这是自由文本部分。具体格式使用 appendix-organizer/references/venue-checklists.md。
步骤 5——偏见与局限性部分
每个模型卡都应包含:预期用途(模型设计的任务和领域);超出范围的使用(模型未设计且不应被使用的应用);已知失败模式(模型可靠失败的条件);偏见与公平性(性能不平等的人群或领域);社会影响(潜在的正面和负面社会影响)。不要写模糊的免责声明。具体的已知失败模式和偏见来源更有用,也更受信任。
记忆回写
如果模型卡记录了性能主张,对照 memory/evidence-board.md 验证。如果模型卡揭示了尚未记录在 memory/risk-board.md 的风险,添加它。如果为项目数据集撰写了数据表,更新 code/.agent/data-pipeline-plan.md。
最终检查
定稿前确认:所有性能主张都有论文或实验证据支撑;局限性和失败模式是具体的(不只是“可能无法泛化”);预期用途和超出范围的使用明确;许可证和访问信息正确;对于会议投稿,必需的清单项目已回答;保存路径已提交或已准备好随发布一起提交。