SuperAPI AI 工具集

geoparquet-validation

数据与分析

查看项目

更新于 10-16 06:19

技能介绍

用途:当用户使用 gpio 处理 GeoParquet 的检查、验证、优化与分发时使用。该技能并非泛化的 GeoParquet 知识,而是围绕 gpio 工具链展开。

主要能力:元数据查看;验证与自动修复;用 gpio 进行转换与优化;分区与发布;需要更重的 SQL 变换时用 DuckDB 支持。

工具:优先使用 gpio(geoparquet-io),默认应用最佳实践。安装:pipx install --pre geoparquet-io;pip install --pre geoparquet-io;uv pip install --pre geoparquet-io。若 gpio 缺失,先引导安装。DuckDB 用于复杂 SQL、连接、聚合或几何操作,安装:pip install "duckdb>=1.5";使用 DuckDB 时需手动应用最佳实践:ORDER BY ST_Hilbert(geometry)、COMPRESSION ZSTD 与 COMPRESSION_LEVEL 15、ROW_GROUP_SIZE 100000,并用 gpio check all 验证输出。

流程:1) 查看:gpio inspect <file>、gpio inspect stats <file>,报告行数、几何类型、CRS、列与文件大小;这两个命令仅接受 (Geo)Parquet 文件,非 Parquet 源(shp、gpkg、geojson、fgb)应先转换再查看。2) 转换或优化:gpio convert geoparquet <input> <output>,可选 --compression-level 15;默认应用希尔伯特排序、bbox 覆盖列、ZSTD 并自验证。3) 验证:gpio check all <file>,可用 --fix --output <fixed>;除非用户明确要求,停留在兼容性最广的 1.1.0。4) 按规模扩展:小文件单文件希尔伯特排序加 bbox 列;中等文件覆盖元数据与压缩级别 15;大文件按 kdtree/admin/quadkey 分区并生成 STAC。5) 发布:gpio publish stac <input> <output.json>、gpio publish upload <file> s3://bucket/path/。

常用命令:gpio extract <input> <output> --bbox "minx,miny,maxx,maxy";gpio extract <input> <output> --where "column > value";gpio partition kdtree <input> <output_dir> --max-rows-per-file 500000。

限制:gpio inspect 与 gpio check 仅接受 (Geo)Parquet,非 Parquet 源需先转换;若需源元数据可用 pyogrio.read_info("<src>")。其他限制暂未提供。