SuperAPI AI 工具集

scienceclaw-benchmark-for31

数据与分析

查看项目

更新于 11-02 04:44

技能介绍

该技能面向单氨基酸替换的变体效应排序任务(ProteinGym 风格)。

用途与任务设定:每个实验对应一个蛋白质,输入包括野生型序列、带标签的单替换变体(位置为 1 基,含 wt_aa、mut_aa、DMS_score,数值越高表示越适应)以及不带分数的查询变体。交付物为一维浮点数组,按查询行的顺序为每个查询变体给出一个分数(越高越适应),仅同一实验内部的排序有意义。

质量评估:采用每个实验的 Spearman 秩相关(常数预测得 0 分),再对实验取平均,越高越好。本地可用的评估函数为 scilib.proteinfit.spearman 与 mean_spearman(pred, truth, groups)。

主要能力:库中提供 scilib.proteinfit.fit_predict(train, wild_type, query),结合 BLOSUM62 与氨基酸性质特征、序列上下文以及训练分数的位置统计,使用秩平均的 ridge / LightGBM / extra trees;fit_predict_assays 可处理多个实验;另有 variant_features 与 cross_validate(..., by="variant"|"position")。此外支持零样本 ESM-2 650M(资产 esm2_650m,可使用 GPU 或远程 worker;用 scilib.proteinplm.available() 检查可用性):proteinplm.plm_features(table, wild_type) 生成对数似然比列,可通过 extra_train / extra_query 传入,或在 fit_predict_assays(..., plm=True) 中使用。CPU 运行在超过约 120 个残基时较慢。

操作算子:dms_variant_effect_supervised、dms_variant_effect_supervised_with_features、dms_cross_validated_spearman、protein_variant_effect_esm2。

使用方式与路线:基线为变体所在位置的训练分数均值(向相邻位置收缩,未见位置用实验均值)。默认使用 fit_predict;在可用时加入 ESM-2 列(仅 BLOSUM62 效果较弱)。用 cross_validate 选择方案,当查询变体位于未见位置时使用 by="position"。

规则与限制:仅使用同一实验的带标签变体;绝不使用查询分数或由其派生的列(例如二值化分数);训练行的位置统计必须排除该行自身(exclude_self=True,fit_predict 已处理);position 为 1 基且 wt_aa 必须与序列一致;保持查询顺序;输出必须有限;不可跨实验比较原始分数。另需注意 ESM-2 预训练于 UniRef50 序列,被测蛋白的同源物很可能存在于其中,应披露这一重叠。