用途:为 Airflow 任务手动添加数据血缘标注,使用 inlets 和 outlets 声明任务的输入与输出数据集,让调度与血缘系统识别数据流向。
适用场景:算子没有内置 OpenLineage 提取器时;只需表级血缘即可;希望不写自定义代码快速建立血缘。若算子已有 OpenLineage 方法,应直接改该方法;需要列级血缘或复杂提取逻辑时,应改用 OpenLineage 方法或自定义提取器。
支持类型:推荐 OpenLineage Dataset(from openlineage.client.event_v2 import Dataset);Airflow 3+ 可用 Asset(from airflow.sdk import Asset);Airflow 2.4+ 可用 Dataset(from airflow.datasets import Dataset)。
用法:在算子参数中传入 inlets=[...] 与 outlets=[...],可同时指定多个输入输出。自定义算子有两种方式:一是实现 get_openlineage_facets_on_complete 返回 OperatorLineage;二是在 execute 中动态设置 self.inlets 与 self.outlets。
限制:仅覆盖表级血缘,不提供列级血缘;复杂提取逻辑需改用 OpenLineage 方法或自定义提取器。具体版本兼容与运行效果以实际环境为准,资料未提供更多细节。