用途:该工作流用于探索和理解评估中使用的数据集,覆盖 HuggingFace 数据集、CSV 文件以及 JSON/JSONL 文件,帮助弄清数据结构、字段含义与数据质量。
主要能力:识别数据集来源(HuggingFace 的 DATASET_PATH/DATASET_REVISION、csv_dataset/load_csv_dataset、json_dataset/load_json_dataset);加载原始数据;用 pandas/datasets 方法检查 schema、形状、样本、缺失值、重复项与取值分布;理解 record_to_sample 如何把原始记录映射为 Inspect 样本;并测试 Inspect 加载管线。
使用方式:先定位评估代码中的数据集配置,再用 datasets.load_dataset()、pd.read_csv() 或 pd.read_json() 直接加载原始数据(而非经 Inspect 的 sample_fields 转换)。常用命令包括:uv run python -c "from datasets import load_dataset_builder; b = load_dataset_builder('org/name'); print(b.info)";uv run python -c "from datasets import get_dataset_config_names; print(get_dataset_config_names('org/name'))";uv run python -c "from datasets import load_dataset; print(load_dataset('org/name', split=None).keys())"。
适用场景:需要探索或理解评估数据集、核对字段与样本转换、排查数据质量问题时。
限制:需具备评估代码访问权限,以及安装 datasets、pandas、inspect_ai 的 Python 环境。受限数据集需运行 huggingface-cli login 或设置 HF_TOKEN;大数据集可用 streaming=True 或 split="train[:1000]" 采样;缓存位置、强制重新下载与测试工具等细节见 references/inspect-dataset-patterns.md。