用途:处理多样和未知数据格式,强调解析前先检测。
主要能力:格式检测可用 file 判断 MIME 类型、xxd 查看十六进制、head 预览文本,或用 Python 读取头部字节。覆盖二进制(magic bytes、字节序、对齐、偏移)、结构化文本(CSV/TSV 分隔符与引号、JSON、YAML、TOML、XML)、模型与检查点文件(PyTorch、TensorFlow、NumPy、HuggingFace、ONNX)、数据库文件(SQLite 及其 WAL、CSV 转储)。
解析策略:未知二进制先看前 256 字节并寻找签名、版本、字符串表,结合文件大小推测记录结构;大文件先采样(head、tail、shuf -n 10)并检查一致性与字段数;多文件数据集先列出文件与大小,查找清单或索引文件及命名规律,先处理单个文件再推广。
限制与陷阱:避免默认 UTF-8、误判 CSV/TSV、忽略表头、未处理引号内分隔符、以文本方式读二进制、字节序不匹配等。文中未提供具体安装命令、收费或平台信息。