用途:本技能为 StreamSets Data Collector 引擎及 StreamSets 环境的参考资料,面向配置或排查 StreamSets 环境与引擎、部署引擎(Docker/Podman)、选择通信方式(隧道或直连)、管理作业生命周期(执行、监控、故障转移、偏移量)、配置高可用与资源管理等场景。资料明确说明只覆盖引擎基础设施与运维,不涉及流程编写,构建或修改 StreamSets 流程需使用对应路径的 flow authoring 技能。
主要能力与特性:引擎以 Docker/Podman 容器形式运行在用户网络中,数据处理全部在自有基础设施内完成,强调数据归属;作业连续运行,数据到达即处理;支持多引擎故障转移与负载分担,6.4+ 版本作业可在引擎间自动故障转移;通信支持隧道(默认)或直连;通过资源阈值防止引擎过载。
关键概念:环境用于为项目配置引擎与计算资源;引擎是执行流程的数据采集器容器;作业是在引擎上持续运行的流程执行;偏移量用于跟踪处理进度以支持可恢复执行;VPC 指分配给引擎容器的虚拟 CPU。
架构与快速上手:浏览器经 watsonx.data integration 与用户网络中的引擎交互,引擎在本地处理数据并向 watsonx.data integration 发送指标。快速开始步骤为创建环境、运行引擎、执行作业。
限制:资料未提供具体价格、收费、平台细节、系统要求、命令及故障排查内容;产品名、URL 与代码需保持原样。