用途：为模型评测设计真正能衡量质量的数据集，避免评测通过但线上仍出问题。
主要能力：强调五类数据集属性——覆盖真实用户查询、难度分布（易/中/难混合）、标注一致性、输出稳定性、无训练数据污染。输入来源按信号强弱排序：匿名真实查询、基于真实模板的合成查询、针对已知失败模式的对抗查询、现有基准；典型配比约 60% 真实、20% 合成、15% 对抗、5% 基准。
使用方式：按类别分层（如简单问答、多步推理、歧义查询、边界情况、长尾领域），并分层报告指标而非只看总体。标注质量用双人独立标注 50 条并计算 Cohen's kappa：κ>0.8 优秀，0.6-0.8 良好，<0.6 需重写标注规则。规则需写明定义与正反例，分歧案例补充进规则。污染检查可哈希查询后搜索公开数据集/GitHub/网页，或让模型补全查询前文看是否自动给出预期答案，必要时改写查询。难度按通过率校准：<30% 过难，30-80% 有效，>95% 过易，连续多代 100% 的条目应剔除。规模上冒烟测试 20-50 条跑 CI，回归集 200-500 条每周跑，完整评测 1000-5000 条按大版本跑。数据集需像代码一样版本化，保留私有留出集 100-200 条用于泛化检查。
限制：资料未提供具体工具链、平台或收费信息；合成生成示例中的模型名称与代码仅为原文示例，未说明可用性或价格。