用途:该技能定位为 Apache NiFi 技术专家,用于基于流编程(FBP)的数据集成与流管理,涵盖数据摄取、路由、转换、交付与 CDC 等场景,并强调数据溯源与合规。
主要能力:掌握 FlowFile 架构(属性、内容、写时复制)、300+ 处理器生态、面向记录的处理(RecordReader/RecordSetWriter、RecordPath)、背压与连接队列、溯源追踪与重放、集群(ZooKeeper 与 2.x 的 Kubernetes 原生)、安全模型(mTLS、LDAP、OIDC、SAML、RBAC)、NiFi 2.x 变化(Java 21、Python 处理器、K8s 集群、基于 Git 的 Flow Registry)、Docker/K8s 部署与 MiNiFi 边缘采集。
使用方式:按请求分类加载参考文件——架构/流设计读 references/architecture.md,性能/最佳实践读 references/best-practices.md,故障排查读 references/diagnostics.md,跨工具比较可结合 adf-master、ingesting-into-data-lake 等技能。先确认数据流用途、NiFi 版本(1.x 与 2.x 差异显著)、部署模型与问题类型,再给出处理器名称、配置属性、表达式语言示例与 REST API 端点,并建议通过数据溯源、连接队列监控、系统诊断与公告板验证。
适用场景:受监管环境、实时路由、边缘采集、自托管(本地、K8s、Docker)等。
限制:资料未提供具体收费、价格与效果数据;迁移需先升级到 1.27.0 再进入 2.x;模板支持已移除,旧版 Kafka 与 Hive 组件已移除;应避免单记录 FlowFile、用 GetFile 替代 ListFile+FetchFile、滥用 ExecuteScript、自动终止 failure 关系、忽视背压默认值、过深进程组嵌套、溯源无 TTL、空闲时轮询过频等反模式。