SuperAPI AI 工具集

data-labeling-qa

数据与分析

查看项目

更新于 10-15 17:29

技能介绍

用途:在微调分类器前,审计来自众包、第三方或不可信标注应用的训练集,发现错标样本,避免错误标签静默污染模型。不适用于标签已有可信审计流程、任务为生成/排序/奖励建模,或完全没有标签的场景。

主要能力:运行四种互补审计。一,溯源与完整性检查(免费,优先执行),检测空值、枚举外标签、重复内容但标签冲突、类别内容长度指纹等结构性问题。二,Cleanlab置信学习,用k折交叉验证得到样本外预测概率,再通过 find_label_issues 标记模型自信反对的标签。三,高损失监控,在微调时记录逐样本损失,高损失样本构成人工复核清单。四,对Cleanlab标记的子集(约2%–10%)用LLM-as-judge做语义验证,提示词要求两行输出 VERDICT: YES/NO 与 CORRECT_LABEL,严格解析,其他视为需人工复核。最终融合四个信号计算每行信任分,并推荐 relabel、keep(ambiguous)、needs_review、keep 四类处理。

必要用法与关键点:必须使用 cross_val_predict 获取样本外概率,不能用 pipeline.fit(X, y).predict_proba(X);judge 应加按钮或 CLI 开关并以 (row_id, prompt_hash) 缓存结果,避免重复调用。示例依赖 LLM_API_KEY,可选 LLM_BASE_URL 对接兼容端点,底层用 llm Python 包。demo.py(marimo 笔记本)在 AG News 上注入 off-by-one、随机翻转和 Sports↔Business 系统性互换三种损坏,用于测量各审计的精确率与召回率。

限制与注意:生产环境无法直接测得召回率,只能用手工分层抽样、Cleanlab与judge一致率、relabel桶精确率间接评估。judge 可能出错,relabel 应视为高置信候选而非最终标签,边界样本仍需人工裁决;judge 自身系统性偏差可用两个不同模型家族投票缓解。结构性问题只能靠溯源审计发现,高比率系统性混淆 Cleanlab 无法察觉。具体定价、平台支持等信息资料暂未提供。