用途:为计算科学场景选择并实现合适的工作流工具,从简单缓存到复杂编排。核心原则是“用最简单可行的工具”,按问题复杂度匹配工具复杂度,先轻量后增强。
主要能力:提供决策树,按需求推荐工具;给出工具分层概览与功能对比矩阵(缓存、并行、DAG、HPC、云原生、错误恢复、监控、学习曲线、材料学侧重);提供典型迁移路径与常见用例建议;列出反模式与最佳实践;可调用子技能获取具体工具指导。
工具分层:Tier 1 轻量——joblib(函数缓存、简单并行、NumPy 持久化,pip install joblib,单机);Tier 2 中等编排——Prefect(复杂 DAG、动态工作流、监控重试,pip install prefect)、Parsl(HPC 并行、隐式数据流,pip install parsl);Tier 3 领域/生产——FireWorks(大规模生产、复杂失败恢复,pip install fireworks)、quacc(材料科学高通量,pip install quacc)。另提及 Snakemake、Dask、Luigi、Airflow 等可了解工具。
使用方式:先评估任务数量、运行环境(笔记本/HPC/云)、依赖复杂度与错误处理需求,再按决策树选型;从 2-3 个代表性任务开始最小实现,验证逻辑后加错误处理并逐步扩展;通过子技能(joblib、prefect、parsl、fireworks、quacc)获取细节。
适用场景:计算化学参数扫描、机器学习流水线、高通量材料筛选、数据处理流水线等。
限制:资料未提供具体收费、价格、平台支持细节与效果数据;工具版本与兼容性需以官方文档为准。