用途:为机器学习项目设计并执行数据标注工作流,覆盖人工标注、半自动预标注、主动学习循环和基于标注函数的程序化弱监督。
主要能力:设计标签体系(分类类别、NER 实体类型、检测框类别、分割标签);编写含正反例的标注指南;配置标注工具(Label Studio、Labelbox、Prodigy、SageMaker Ground Truth、CVAT);用模型预测或启发式规则预标注;通过多人重复标注与金标准集做质量控制;用 Cohen's kappa、Fleiss' kappa、Krippendorff's alpha 衡量一致性;用 Snorkel、Flyingsquid、Skweak 做弱监督;用 modAL、ALiPy 做主动学习;导出 COCO JSON、Pascal VOC XML、CoNLL、JSONL、Hugging Face Datasets 等格式。
使用方式:向智能体提供原始数据集、任务类型和标签类别,可选指定标注工具偏好与最低一致性要求,由智能体配置环境、设置质量控制并管理标注流程。示例中给出 Label Studio 的 config.xml 界面配置、label_studio_sdk 建项目与导入任务、设置 maximum_annotations=2 与 overlap_cohort_percentage=100,以及 Snorkel 标注函数与 LabelModel 组合噪声标签、按置信度分流人工复核。
适用场景:分类、NER、目标检测、语义分割、多轮对话标注等;标注预算有限时用主动学习减少标注量。
限制与注意:资料未提供具体收费、价格或平台可用性信息。kappa 低于 0.6 通常需修订指南或标签体系;低于 0.4 说明任务定义模糊。类别极不平衡(目标类 <5%)时需关键词过滤或分层采样。标注函数冲突会产生低置信预测。连续标注 2-3 小时后质量下降,建议分批并随机化顺序。项目中途新增标签需版本化 schema 并重新标注,而非直接修改旧标注。