用途:指导在 UVA HPC(Rivanna/Afton)集群上使用 Slurm 提交与管理计算作业,并说明本地、WRDS(SGE)与 HPC(Slurm)三类环境的职责划分。
主要能力:提供 sbatch 提交脚本模板、数组作业分片模式(年份×分块、任务列表分片)、SGE 到 Slurm 的指令与环境变量对照表、分区选择建议(standard/parallel/gpu/interactive)、作业监控与调试命令(squeue、sacct)、资源计费公式,以及通过 PostgreSQL + polars/connectorx 访问 WRDS 数据的流程。
必要用法:禁止在登录节点运行计算,必须编写提交脚本并用 sbatch 提交;数组作业使用 --array;单节点并行用 --ntasks=1 --cpus-per-task=N;parallel 分区要求 MinNodes=2,仅用于多节点 MPI 作业。交互分区可用 salloc -p interactive --cpus-per-task=4 --mem=16G --time=1:00:00 测试脚本。
适用场景:需要大规模并行计算(如模型估计、大 polars 管道)、将 WRDS 上的 SGE 作业迁移到 Slurm、以及从 HPC 计算节点访问 WRDS PostgreSQL 构建数据管道。
限制:parallel 分区拒绝单节点作业;standard 分区默认 5 小时、最长 7 天;interactive 最长 12 小时;计费按 SU 加权 CPU 核心小时计算。具体账户、路径与配额以实际环境为准,资料未提供的内容暂未说明。