用途:处理行数较大的 Excel 数据集分析,按数据规模选择读取策略。资料规定总行数达到 1 万行时必须使用本技能的方法。
主要能力:按规模分流读取,小于 1 万行可直接 pd.read_excel();1 万至 10 万行先转 Parquet 再分析;10 万至 100 万行用 openpyxl read_only 配合 iter_rows 流式读取并转 Parquet;超过 100 万行需流式读取并多表拆分,因 Excel 单表上限 1,048,576 行。另含内存优化(整数与浮点降级、低基数字符串转 category)、大文件写入策略(超过 100 万行导出 CSV,超过 5 万单元格用 openpyxl write_only),以及中文字体路径配置、内存估算与向量化操作对照。
使用方式:先用 inspect_excel 不加载数据地查看工作表与行数,再按行数选择 convert_excel_to_parquet 或 stream_excel_to_parquet,之后用 pd.read_parquet 加载并按需优化类型,最后用 write_large_excel 输出。环境需导入 pandas、numpy、os、gc,并设置 pd.options.mode.copy_on_write = True。
限制与禁止:不要用 pd.read_excel() 全量加载 10 万行以上文件;不要用 fc-list、find 或 pip install 查找或安装字体;大 DataFrame 不要用 df.iterrows()、df.apply(lambda) 等无法向量化的写法,应改用 itertuples() 或向量化操作。内存估算显示超过可用内存 80% 时,应做列选择加载或分块处理。资料未提供安装命令、收费、价格与平台信息。