用途：审计候选或已标注训练语料，验证数据集是否教会了预期能力，而非仅产生容易的损失曲线。
主要能力：
- 检查确定性分布。按 split 与整体汇总每个与产品相关的维度：来源组、任务通道、目标、格式、标签、弃答、难度、候选数量、序列长度、终止状态、角色、偏好答案位置。可使用通用 JSONL 汇总脚本：
python scripts/summarize_jsonl_fields.py corpus.jsonl
--field split --field lane --field goal --field label
--output quality-distributions.json 不要只看行数是否相等，需验证分组安全切分、来源组互异、联合分布合理、安全边界样本充足；标记任何可能让模型忽略重要上下文的占主导类别。 - 审查候选与标签质量。确认正例合法、可信且受所给上下文支持；难负例有吸引力但因可解释原因而错误；证据支持时保留多个可接受答案；弃答可用且仅在合理时标注；教师输出使用所给标识符且无需静默修复即可通过校验；提示词排除参考答案与教师专用元数据；每个通道有足够事实做出可辩护选择。在标注全量语料前先做小规模平衡的教师预检，遇到标识符、重放、合法性、终止边界、上下文或标签塌缩失败即停止。
- 测试标签可辩护性。对困难代表性案例做两次盲审，第二次反转候选顺序；案例从元数据而非标签结果中选取。仅当两种顺序选择同一底层答案时，才计为稳定判断。保留平局、歧义、两者皆差、上下文不足的结果。审查前先定义稳定性阈值；若未达标，先修复最小的语料或评分标准缺陷再扩展。同一有偏通道的更多样本不能证明更广的能力。
适用场景：训练数据质量审计、标注语料验收、分布与泄漏检查、难负例与弃答评估。
限制：资料未提供具体阈值、支持的数据格式细节、依赖环境或完整使用步骤，需结合实际情况确定。