SuperAPI AI 工具集

chalk-streaming

测试与质量

查看项目

更新于 10-15 20:11

技能介绍

用途:在编写、调试、测试或调优 Chalk 流式解析器时使用,覆盖 Kafka、Kinesis、PubSub 数据源、make_stream_resolver 模式与 parse 表达式。

主要能力:支持 Kafka、Kinesis(标准与 Enhanced Fan-Out)、Google Cloud Pub/Sub 连接器;流式 worker 轮询消息、批处理解析并经 gRPC 转发至执行引擎,引擎运行解析计划、更新物化聚合并将特征同步写入在线与离线存储。可用 skip_online / skip_offline 控制写入目标;通过 Sink 将计算结果写入下游 Kafka 主题,实现多阶段流水线。支持一条消息扇出多行(message_type=list[Element] 配合 F.array_transform 等)。流解析器写入 DataFrame 关系时自动更新 windowed 物化聚合,支持 sum、count、min/max、mean、std/var、approx_count_distinct、approx_percentile、approx_top_k、min_by_n/max_by_n 等,可用 MaterializationWindowConfig 自定义桶对齐,或用 updates_materialized_aggregations=False 关闭。支持 Deduplication(on=..., within=...) 去重与 late_arrival_deadline 迟到丢弃。

使用方式:用 make_stream_resolver 定义解析器,指定 source、message_type、output_features;用 chalk_client.test_streaming_resolver 或本地 check_stream_parsing 测试解析表达式。

适用场景:新流解析器编写、parse 表达式选择与调试、去重/迟到/特征时间配置、吞吐调优、物化窗口聚合搭建。

限制:不适用于请求-响应(用 @online)、一次性批量加载(用 @offline 或 chalk upload)、无 schema 主题(需先定义 Pydantic/proto/Avro 模型)、从流回填历史数据(用离线解析器加时间戳重放)。