用途
scienceclaw-benchmark-for50 用于论证中的人类价值检测(Human-value detection in arguments),对应 ValueEval 任务。当任务给出带有结论(conclusion)、立场(stance,支持/反对)和前提(premise)的论证表格,并提供按 ValueEval 分类体系 20 个人类价值类别标注的训练集时,可使用本技能。
输入与交付物
输入包括:包含 conclusion、stance、premise 的表格;带 (n, 20) 0/1 标签矩阵的训练论证;以及固定列顺序的价值名称(及分类体系)。
交付物:一个 0/1 整数矩阵,行对应目标论证的输入顺序,列对应给定顺序的价值名称。
质量指标
采用 ValueEval 2023 官方 F1:在评分集中至少有一个金标准正例的类别上,分别宏平均精确率(无预测时为 0)和召回率,然后 F1 = 两者的调和平均(不是各类别 F1 的均值);越高越好。需与全 1 预测基线比较:由于精确率和召回率分别平均且跳过无金标准正例的类别,该基线很强,尤其在小批量上。
工具
scilib.valueeval.fit_predict(train_df, Y, [target_df, ...], n_folds=5, C=0.3, k=16, seed=0, groups=None, decision="expected_f1") 为每个目标表返回一个 0/1 矩阵(同时提供 .probs、.scores、.counts、.oof_f1)。它使用词级与字符级 TF-IDF(TextFeatures)、一对多逻辑回归、按结论分组的折外评分、逐标签 Platt 校准,然后通过决策选择每个标签要标记的排名靠前行数,以最大化期望官方 F1。decision="threshold" 则应用单一全局截断值。类型化算子包括 human_value_multilabel_predict 和 value_detection_official_f1。
构建模块:official_f1、official_f1_report、grouped_oof_scores、column_calibration、calibrate、expected_f1_decision、episode_f1、episode_threshold。
可选额外特征:来自 scilib.textenc.embed 的句子嵌入(资产 bge_large_en;可通过 scienceclaw_tools(operation=weights) 检查)。其公开预训练文本可能与论证重叠,需披露这一点。
规则
保持验证折按结论分组(共享同一结论的论证近似重复);绝不在目标行上校准或选择阈值。
决策取决于一起评分的行数以及该指标的 averaging 方式,因此应在一次调用中传入整个目标表,并说明增益是该指标定义特有的。
保持形状、列顺序和二元整数条目;当存在留出源(不同语料、文化或翻译)时,应在该源上评估,因为在这种分布偏移下可靠性会下降。