SuperAPI AI 工具集

model-card

写作与研究

查看项目

更新于 10-15 16:51

技能介绍

用途:为工程师训练的医学影像模型补齐必备文档,包括 Model Card(预期用途、超范围用途、训练数据、各亚组性能、注意事项)、数据集 Datasheet(来源、构成、采集、标注、知情同意),以及一次 METRIC 视角的数据质量检查。它只从用户提供的事实填充模板,绝不虚构数字、来源细节、同意状态或授权,并用确定性门控确保必填章节未缺失、未留 [NEEDS INPUT] 占位符。

何时使用:训练完成的模型需要 Model Card / Datasheet,用于仓库、Hugging Face 卡片或论文补充材料。

何时不用:审核验证设计与指标用 /model-assessment;数据集字节版本管理用 /version-dataset;表格变量文档用 /generate-codebook;稿件逐条报告规范合规用 /check-reporting;模型构建/训练用 /model-scaffold。

工作流:1)收集事实:任务、架构、来源、授权、预期与超范围用途、训练与评估队列、参考标准与读者间一致性、总体与亚组性能、数据采集、同意、去标识化,未提供的一律留 [NEEDS INPUT]。2)填充 Model Card:将 ${CLAUDE_SKILL_DIR}/references/model_card_template.md 复制为 MODEL_CARD.md,保留标题,逐节填写;数字仅来自 /model-assessment 或已执行结果。3)填充 Datasheet:复制 ${CLAUDE_SKILL_DIR}/references/datasheet_template.md 为 DATASHEET.md,填七个问题组(动机、构成、采集、预处理/标注、用途、分发、维护)。4)METRIC 数据质量检查:走 ${CLAUDE_SKILL_DIR}/references/metric_dimensions.md(完整性、正确性、一致性、代表性、时效性、来源、标签来源、公平性/覆盖、泄漏安全),在 Datasheet 记录发现;影响主指标有效性的问题也应交叉核对 /model-assessment。5)确定性门控:python3 ${CLAUDE_SKILL_DIR}/scripts/check_model_card_complete.py --card MODEL_CARD.md --datasheet DATASHEET.md --strict,MISSING_SECTION / EMPTY_REQUIRED_SECTION / UNFILLED_FIELD 必须为零;UNFILLED_FIELD 会列出必填章节中仍为 [NEEDS INPUT] / [VERIFY] 的字段。显式 N/A 或 None 只在作为字段整体值时视为回答,且在预期用途、训练数据、评估数据、指标或定量分析中不算;仅模板原样的大写占位符计数,markdown 链接文本与 HTML 注释、代码块内内容不算。已知限制:手写 TODO / TBD / <...> / XXXX 只有在整个章节未填时才会被捕获,开放字段应保留模板的 [NEEDS INPUT] 标记。6)交接:卡片供 /write-paper、/check-reporting(CLAIM 2024 / TRIPOD+AI 条目审核)与 /self-review 使用。

反幻觉:绝不虚构评估数字、亚组结果或数据集来源;每个数字来自 /model-assessment 或用户执行结果,每条来源/同意/授权陈述须用户确认,未知即 [NEEDS INPUT],由门控标出。绝不无用户内容就标章节完成,绝不自动填充占位符以通过门控,绝不断言未确认的授权或同意状态。门控只检查存在性而非真实性,完整卡片仍可能含错误数字,有效性由 /model-assessment 与人工负责。

确定性脚本:scripts/check_model_card_complete.py 验证所有必填 Model Card / Datasheet 章节存在且非空(标准库、无需网络)。可复现挑战:bash ${CLAUDE_SKILL_DIR}/scripts/check_model_card_complete_challenge/verify.sh。

分类说明:Model Cards(Mitchell 等 2019)与 Datasheets(Gebru 等 2021)是文档标准而非临床报告指南,故以 references/ 模板形式存放(不计入清单),与 appraisal_tools/METRICS.md 的处理一致;稿件级 CLAIM 2024 / TRIPOD+AI 条目审核仍归 /check-reporting。