SuperAPI AI 工具集

authoring-dags

写作与研究

查看项目

更新于 10-16 01:35

技能介绍

用途:该技能面向编写 Apache Airflow DAG 的工作流与最佳实践,适合用户要新建 DAG、编写管道代码或询问 DAG 模式时使用。测试与调试 DAG 请参考 testing-dags 技能。

主要能力与流程:整体分为发现、规划、实现、验证、测试(需用户同意)、迭代六个阶段。发现阶段用文件工具查找仓库中已有 DAG、阅读相似 DAG 了解约定、检查依赖与 provider;并通过扩展工具查询环境,如 list_active_dags、list_paused_dags 了解命名约定,get_running_dags 查看当前活动,get_dag_history 查看运行节奏,go_to_connections_view、go_to_variables_view 查看配置,go_to_providers_view、go_to_plugins_view 查看已安装组件,go_to_server_health_view 做健康检查。规划阶段提出 DAG 结构(任务、依赖、调度)、所用 Operator、所需连接与变量、必要的包变更,并在实现前获得用户批准。实现阶段创建或更新 DAG 文件、按需更新依赖并保存。验证阶段在 DAG 部署到 Airflow 后,确认其出现在 list_active_dags 或 list_paused_dags 中,用 get_dag_source_code 核对已部署源码,用 get_dag_history 查看运行历史。测试阶段遵循 testing-dags 技能:先征得同意,用 trigger_dag_run 触发,再用 get_dag_runs 与 analyse_dag_latest_run 查看结果。

限制与注意:所有 Airflow 操作应使用 Airflow VS Code 扩展工具,避免用 Airflow CLI 命令列出 DAG、查看日志或检查运行;不要用 airflow dags list 或 astro dev run 等 CLI 检查运行状态,运行时排查与日志应使用扩展工具。资料未提供具体安装命令、收费与平台支持信息。