scienceclaw-benchmark

ScienceClaw 学科技能索引

用途 scienceclaw-benchmark 是一个索引型技能，用于在 23 个学科技能（对应 ANZSRC 学科分类 FoR30 至 FoR52）中定位与用户任务匹配的学科技能。这些学科技能与 ScienceClaw-Eval 基准的 23 个学科一一对应，其评测数据托管于 Hugging Face（https://huggingface.co/datasets/beita6969/scienceclaw-eval）。

主要能力该索引列出每个学科技能对应的学科名称、任务名称、质量指标及技能标识。具体学科与任务包括：

FoR30 农业、兽医与食品科学：PhenoBench 层次全景分割，指标 PQ+（越高越好）
FoR31 生物科学：ProteinGym 替换，指标 mean Spearman（越高越好）
FoR32 生物医学与临床科学：MSD Task04 海马体，指标 DSC（越高越好）
FoR33 建筑环境与设计：BuildingsBench，指标 balanced NRMSE（%）越低越好
FoR34 化学科学：OGB ogbg-molhiv，指标 ROC-AUC（越高越好）
FoR35 商业、管理、旅游与服务：Monash Tourism Monthly，指标 mean MASE（越低越好）
FoR36 创意艺术与写作：MUSDB18 四轨分离，指标 mean target-median SDR（dB，越高越好）
FoR37 地球科学：WeatherBench2，指标 2m 温度 RMSE（K，越低越好）
FoR38 经济学：World Bank 宏观预测，指标 mean sMAPE（% 越低越好）
FoR39 教育：Eedi NeurIPS 2020 Task 4，指标 organizer 10-mask accuracy（越高越好）
FoR40 工程：DCASE 2024 Task 2，指标官方 DCASE 分数（越高越好）
FoR41 环境科学：NEON 水生预测，指标 mean CRPS（氧气+温度，越低越好）
FoR42 健康科学：PhysioNet/CinC 2019 脓毒症，指标 normalized clinical utility（越高越好）
FoR43 历史、遗产与考古学：HIPE-OCRepair 2026，指标 weighted cMER-micro（越低越好）
FoR44 人类社会：ACIC 2016，指标 response-SD normalized RMSE（越低越好）
FoR45 原住民研究：AmericasNLP 2026，指标 mean sentence chrF++（越高越好）
FoR46 信息与计算科学：HumanEval → MBPP，指标 execution pass@1（越高越好）
FoR47 语言、传播与文化：CoNLL-2018 UD，指标 LAS（越高越好）
FoR48 法律与法学研究：ContractNLI，指标 mAP（越高越好）
FoR49 数学科学：SMT-COMP 2025 QF_NIA，指标 oracle-agreement accuracy（越高越好）
FoR50 哲学与宗教研究：SemEval-2023 Task 4 ValueEval，指标官方 F1（越高越好）
FoR51 物理科学：Matbench phonons，指标 MAE（越低越好）
FoR52 心理学：Psych-201 discrete，指标 micro accuracy（越高越好）

使用方式

将用户任务与上述学科行进行匹配，加载对应的 scienceclaw-benchmark-forNN 技能。
通过 scienceclaw_tools（search、show、status、weights）确认技能中提到的工具和权重在当前主机上可用；不要围绕报告为不可用的工具或权重制定计划。
在画布上构建工作流（参见 scienceclaw-canvas）：通过任务的 load_<name> 工具读取输入，保持交付物的类型、形状和单位，完成前进行回放验证。

适用场景适用于需要为科学任务选择对应学科技能、了解任务输入输出与质量指标、并规划基于 scilib 工具和预训练权重的工作流的场景。

限制与规则所有学科均适用以下规则：

仅使用任务声明的输入，不得使用目标信息，并尊重预测和临床数据的时间顺序。
优先使用输入/输出契约有文档记录的冻结检查点，而非在工作流内部训练的模型，并报告产生结果的检查点（及版本）。预训练权重可能见过相似数据，需要说明。
在预训练路线旁保留简单基线，以便观察增益（如有）。该索引本身不提供具体工具、权重或评测执行的直接能力，需结合对应学科技能使用。

技能介绍