SuperAPI AI 工具集

gcp-managed-airflow-recommendations

通用与其它

查看项目

更新于 10-16 05:49

技能介绍

用途:为 Managed Service for Apache Airflow(MSAA,原 Cloud Composer)环境提供创建、配置、调优与优化方面的建议和最佳实践,角色定位为 Composer 与 Airflow 性能专家。

主要能力:通过 scripts/ 下的 Python 脚本采集遥测数据:dag_parsing_stats.py 分析 DAG 解析时间与效率;environment_health.py 获取环境健康状态;workload_cpu_usage.py、workload_disk_usage.py、workload_memory_usage.py 分别采集工作负载的 CPU、磁盘和内存指标以定位 OOM;workload_restarts.py 获取组件重启次数以识别不稳定负载。references/gcloud_reference.md 提供用于查看 Cloud Composer 环境配置的 gcloud 命令参考。

使用方式:先确定目标环境(环境名、项目 ID、区域)与时间范围,用 gcloud 命令获取当前配置并检查环境规模(环境大小、调度器数量、最大 worker 数、CPU/内存上限),再运行脚本采集遥测,可用 python3 ./scripts/{script_name}.py --help 查看各脚本用途与参数。随后分析 CPU/内存/磁盘饱和度、重启次数与 DAG 解析耗时,最后输出分类建议:基础设施与扩缩容、Airflow 配置(如 parallelism、max_active_tasks_per_dag、dag_file_processor_timeout)、存储桶整理、生产最佳实践(高可用模式、数据库保留)。

限制与约束:强调基于证据决策,不在确认内存或 CPU 饱和前盲目建议升配;需区分 Gen 2 与 Gen 3 架构;报告用 Markdown 组织,可用表格汇总指标。资料未提供具体脚本参数、安装方式与价格信息。