SuperAPI AI 工具集

apache-nifi

设计与创作

查看项目

更新于 10-16 03:13

技能介绍

用途:本技能面向 Apache NiFi 数据集成与分发平台,提供流设计与运维的专家级指导,覆盖数据采集、路由转换、输出及集群部署等环节。

主要能力:核心概念包括 FlowFiles(内容加属性)、Processors、Connections(带背压的队列)、Process Groups、Controller Services 与 Reporting Tasks。常用处理器涵盖数据接入(GetFile、ListenHTTP、ConsumeKafka、GetFTP)、数据输出(PutFile、InvokeHTTP、PublishKafka、PutFTP)、路由转换(RouteOnAttribute、UpdateAttribute、JoltTransformJSON)、内容处理(ExtractText、ReplaceText、SplitText、MergeContent)、数据库(ExecuteSQL、PutSQL、QueryDatabaseTable)与脚本(ExecuteScript,支持 Groovy、Python、JavaScript)。

使用方式:流设计建议按输入、校验、转换、富化、输出划分进程组;性能上使用背压阈值、连接负载均衡、并发任务与批处理;错误处理需配置 failure 关系、funnel 汇总、重试与惩罚、provenance 日志。NiFi Registry 集成通过添加 Registry Client、右键进程组启动版本控制并提交变更。表达式语言支持属性取值、字符串替换、日期格式化、条件判断与内容大小比较。部署提供 Docker 单节点与 ZooKeeper 集群配置示例,安全支持单用户、LDAP、OIDC 与证书认证。监控关注队列 FlowFile 数量与大小、处理器耗时、系统诊断与公告板,日志位于 logs/nifi-app.log 等。REST API 与 Toolkit CLI 可导出导入流。PLC4X 提供 GetPLC、PutPLC 处理器。

限制:具体版本兼容性、性能上限与生产环境参数需结合官方文档确认,本资料未提供相关细节。