用途:为使用 pueue 编排并发参数化作业的流水线提供并发安全模式与反模式参考,来源于分布式数据管道编排的生产故障经验,属于通用原则,示例仅作说明。
主要能力:给出九条非协商不变量(INV-1 至 INV-9),包括共享文件名须含全部区分参数、入队前先校验在运行任务、文件删除须幂等(missing_ok=True)、共享状态用临时文件加 fsync 再原子重命名、.env 作为环境默认值唯一来源、在安全余量内最大化并行、用 systemd-run 限制单作业内存(须设 MemorySwapMax=0)、按稳定标识(组名与标签)而非临时作业 ID 监控、派生产物文件名须含全部类别维度并限定 glob 作用域。另记录 17 个生产反模式(AP-1 至 AP-17),如未检查运行任务即重新部署、硬编码作业 ID、跨阶段未限定 glob、状态文件膨胀等。
使用方式:适用于 pueue 并发工作流;远程部署按审计、决策、拉取、验证、升级、重启、监控七步执行,其中审计为强制步骤。新增可区分参数时需同步加入检查点文件名、pueue 标签与远端检查点键;删除文件用 missing_ok=True,写入共享存储用原子写并按类别限定 glob。并附并发安全决策树、自动扩缩容阈值(CPU 低于 40% 且内存低于 60% 扩容,CPU 或内存超 80% 缩容,否则保持)与项目本地扩展两层调用模式。
适用场景:分布式数据管道、并发参数化作业、可恢复检查点作业的编排与运维。
限制:不变量与反模式基于 pueue 工作流,其他调度器需自行映射;systemd-run 内存限制仅 Linux cgroups v2 可用,macOS 上为空操作;前置技能为 pueue-job-orchestration 与 bootstrap-monorepo;文档提到 Temporal 为可选的持久化工作流替代方案,安装命令为 pip install temporalio 与 brew install temporal;具体项目配置、数据库审计查询、各作业内存画像等细节需由项目本地扩展技能提供,本资料暂未提供。