SuperAPI AI 工具集

pipeline-assistant

通用与其它

查看项目

更新于 10-16 07:27

技能介绍

用途:根据用户描述从零创建,或修复存在问题的 Redpanda Connect 管道 YAML 配置,使其通过校验并满足需求。分为创建(用户给出如从 Kafka 读取到 stdout 的描述)与修复(用户给出配置文件路径及可选错误信息)两种场景。技能仅负责管道配置编排与校验。

主要能力:组件发现、Bloblang 转换开发、脚手架生成、配置校验、运行测试。技能要求依赖 component-search、bloblang-authoring 两个技能:不确定使用哪些组件或需要组件配置细节时委派 component-search;创建或修复 Bloblang 转换时委派 bloblang-authoring,不自行编写 Bloblang。设置需要 rpk、rpk connect。

使用方式:用 rpk connect create [--small] <input>,...[/<processor>,...]/<output>,... 生成初始 YAML 模板;用 rpk connect lint [--env-file <.env>] <pipeline.yaml> 校验语法、组件配置与 Bloblang 表达式,退出码 0 表示成功;用 rpk connect run [--log.level DEBUG] --env-file <.env> <pipeline.yaml> 运行管道,持续运行至 Ctrl+C。可先用 stdin/stdout 做本地测试,例如 echo 输入配合 rpk connect run。

适用场景与限制:适用于 Kafka 复制、内容路由、死信队列、CDC 复制、S3 写入轮询、有状态计数、窗口聚合、限流与自定义指标等(resources/recipes 目录提供相应模式,应先读再适配,不直接复制)。stdin/stdout 无法真实测试批处理、连接重试/超时、顺序保证与并行处理,生产部署前仍需真实集成测试。所有密码、令牌、API 密钥必须使用 ${ENV_VAR} 语法,凭证不得出现在 YAML 或对话中;.env 保存真实值且不得提交,.env.example 用占位值记录变量,并提醒将 .env 加入 .gitignore。具体安装步骤、价格与效果等资料暂未提供。