SuperAPI AI 工具集

common-schema-audit

数据与分析

查看项目

更新于 10-16 07:27

技能介绍

用途:审计 schema.Common(来自 github.com/redpanda-data/benthos/v4/public/schema)元数据格式的每个消费者,防止类型覆盖与值转换缺口在发布后引发流水线故障。schema.Common 在 Avro、Parquet、CDC 源与下游 sink 之间通过 meta(schema) 流转,每个消费者都需覆盖所有 CommonType 变体,或在遇到未知分支时报出指明缺失变体的错误,并在消息体 Go 类型与模式声明类型不一致时做强制转换(如时间与数值互转)。

主要能力:枚举 benthos 源码中全部 schema.CommonType 常量并与当前集合比对;通过 schema.ParseFromAny 调用及类型 switch 定位消费者(排除生产者);逐消费者生成类型覆盖表、值强制转换处理说明和 COVERED/PARTIAL/GAP 结论;汇总为矩阵并给出修复建议。参考实现包括 iceberg shredder 的 coerceTemporalToNumeric、metadata-aware 数值缩放、type_resolver、parquet_encode 的 parquetNodeFromCommonField、confluent 的 commonToJSONSchemaNode。

使用方式:默认在 stdout 输出 Markdown 报告,含变体全集、消费者矩阵、详细发现、建议四部分;--format=json 输出结构化 JSON 供 CI 使用;--component=name 只审计指定消费者。文档给出 go env 与 grep 命令用于枚举变体,审计发现需引用 file:line。

适用场景:新增 schema.Common 消费者或上游新增 CommonType 变体后,检查下游类型 switch 与强制转换是否同步。

限制:技能为只读,不写代码或提交变更;CDC schema 构建器等生产者不在范围内;该技能暂未提供具体安装方式与收费信息。