SuperAPI AI 工具集

kinesis-stream-processor

数据与分析

查看项目

更新于 10-15 21:08

技能介绍

用途:该技能面向使用 AWS Kinesis 构建实时数据流应用的场景,覆盖数据摄取、消费、基础设施编排与监控。

主要能力:

  1. 组件选型说明,区分 Data Streams、Data Firehose、Data Analytics、Video Streams 的用途与适用场景。
  2. 关键限制说明,包括单分片写入 1,000 条/秒或 1 MB/秒、读取 5 次事务/秒且最多 10,000 条、读取吞吐 2 MB/秒;单流最大分片 500(软限制)、保留期 24 小时至 365 天;单条记录最大 1 MB、分区键最大 256 字节。
  3. 生产者实现,提供 Python 与 Node.js 带缓冲、批量 PutRecords、部分失败重试与指数退避的示例。
  4. 消费者模式,包含 Lambda 触发器消费(支持部分批次失败响应)、KCL 风格带检查点的消费、增强扇出(register_stream_consumer、subscribe_to_shard)。
  5. 基础设施即代码,提供 CloudFormation 与 Terraform 模板,涵盖流、Lambda 事件源映射、IAM 角色与 CloudWatch 告警。
  6. 监控告警,列出 IncomingRecords、IncomingBytes、Write/ReadProvisionedThroughputExceeded、GetRecords.IteratorAgeMilliseconds 等指标及阈值,并给出获取指标的方法。

使用方式:资料以模式与示例代码形式给出(如 put_records、get_shard_iterator、register_stream_consumer、aws_kinesis_stream、aws_lambda_event_source_mapping),可按需参考并集成到自有工程,不提供安装命令。

最佳实践:分区键均匀分布、优先批量写、处理限流退避、监控 iterator age、多低延迟消费者使用增强扇出、对敏感数据启用 KMS 加密。

限制:该技能未提供具体安装步骤、部署命令、收费与价格信息;实际额度与限制以 AWS 官方为准。