SuperAPI AI 工具集

training-data-annotation

数据与分析

查看项目

更新于 10-16 06:25

技能介绍

用途:把标注当作测量系统与人工工作流来设计,目标是为明确的下游决策产出可用、可审计的标签,而非追求标签数量最大化。

主要能力:定义下游任务、总体、标签单元、标签集、边界情况、弃权标签与不可用项;在采样前划分训练、验证、留出评估与挑战数据;编写含正负例、边界规则、来源要求、升级路径与变更日志的标注指南,并由领域负责人批准关键定义;建立来源与权利记录(来源、采集时间、许可/同意、变换、敏感字段、访问、保留/删除、数据集版本);以代表性采样与定向采集混合获取数据,用不确定性、多样性、新颖性与分层保护稀有或高风险切片;对标注员进行任务资格认定、校准项培训并测量质量与工作量;运行盲校准与周期性盲复核,保留有意义的分歧、歧义与弃权;按条目、标签、切片、标注员与指南版本审查分歧,仅在明确规则与合格授权下裁决;依据边际下游价值、覆盖、质量、成本与时间决定停止或继续,冻结清单后交接。

使用方式:按需加载 references/task-and-label-design.md(模式与指南设计)、references/acquisition-and-stopping.md(采样与停止)、references/annotator-quality.md(人员与分歧)、references/provenance-and-rights.md(数据授权),需要持久记录时使用模板(annotation guide、annotation plan、quality report)。统计估计与功效交数据科学,存储与管道交数据工程,模型训练与泄漏检查交机器学习工程,标注界面交互设计交产品设计。

限制:不负责统计推断或实验设计、数据平台、模型训练、UI 实现;不得让模型置信度定义整个数据集,置信度未校准或模型分布外时只能当作搜索启发式;不得把一致性当作通用真值分数;预标注需用盲对照测量锚定效应;配额不能单独证明质量充分;就业、薪酬与法律问题应转交相应负责人。