SuperAPI AI 工具集

parallel-file-processor

通用与其它

查看项目

更新于 10-16 03:39

技能介绍

用途:并行处理大量文件,适用于批量文件操作、目录扫描、ZIP 归档处理以及并行数据聚合等场景。

主要能力:提供文件扫描(支持 glob 包含/排除模式、扩展名过滤、大小限制、递归扫描)、并行执行(顺序、线程池、进程池、异步四种模式)、结果聚合(统计成功/失败数量、成功率、错误列表)以及进度跟踪(进度条与 ETA)。内置 FileProcessor 可聚合目录下所有 CSV 文件,或批量解压 ZIP 文件。

使用方式:通过 FileScanner 扫描目录得到 FileInfo 列表,再交给 ParallelProcessor 或 FileProcessor 处理。示例: from concurrent.futures import ThreadPoolExecutor, as_completed from pathlib import Path import pandas as pd

def process_csv(file_path: Path) -> dict: df = pd.read_csv(file_path) return {'file': file_path.name, 'rows': len(df), 'columns': len(df.columns)}

files = list(Path('data/raw/').glob('*.csv')) results = [] with ThreadPoolExecutor(max_workers=8) as executor: futures = {executor.submit(process_csv, f): f for f in files} for future in as_completed(futures): results.append(future.result())

print(f"Processed {len(results)} files")

适用场景:处理 100 个以上文件、目录内容批量操作、从多个 ZIP 归档提取数据、聚合并行操作结果、CPU 密集型文件转换、IO 密集型文件操作。

限制:资料未提供安装命令、依赖版本、收费方式、平台支持或性能基准等具体信息,暂未提供。