SuperAPI AI 工具集

mirror

数据与分析

查看项目

更新于 10-15 21:53

技能介绍

用途:Mirror 是 Goldsky 的流式管道产品,用于把链上数据从源端持续同步到用户自有的数据库或消息队列。源可以是 Goldsky 托管的子图实体(type: subgraph_entity),也可以是直接索引数据集(type: dataset,如 blocks、logs、transactions、traces、transfers)。

主要能力:管道由源、可选转换、目标三部分组成。源支持 start_at(earliest/latest)与 filter;在 dataset 源上指定 filter 且 start_at: earliest 时启用 Fast Scan,加快历史回填。转换支持 SQL(可引用源或上游转换名作为表名,支持链式)与外部 handler(POST 到 HTTP 端点);内置解码函数 _gs_log_decode、_gs_tx_decode、_gs_fetch_abi。目标常见有 postgres、clickhouse、mysql、elasticsearch、kafka、file(S3/GCS/R2,Parquet)、sqs、webhook,写入用户自有目标需先创建 Goldsky Secret(goldsky secret create)。

使用方式:编写 YAML 后应用,例如 goldsky pipeline apply my-pipeline.yaml --status ACTIVE --from-snapshot last。常用命令包括 start、stop、pause、restart、get、list、info、monitor、delete、resize、validate、export、cancel-update,以及 snapshots list / snapshots create。--from-snapshot 可选 last、new、none 或快照 ID。暂停会保存快照并可从原处恢复;停止不保存快照,恢复时可能重复处理数据。期望状态为 ACTIVE/INACTIVE/PAUSED,运行状态为 STARTING/RUNNING/FAILING/TERMINATED。快照记录源读取进度与 SQL 转换状态,不含 sink 状态;健康运行的管道每 4 小时自动快照,更新前与暂停时也会自动快照,恢复只能使用最新快照。资源规格为 s、m、l、xl、xxl,规格影响计费。

适用场景:需要以子图为数据源,或需要把链上数据落到数据库、消息队列、对象存储、搜索或 Webhook 的场景。

限制:写入数据从 AWS us-west-2 发出,目标需允许该区域入站连接,默认 IP 动态,专用出口 IP 需申请。Mirror 相较 Turbo 速度与可靠性一般、配置更复杂;除确有子图源需求外,官方建议改用 Turbo。文档未提供具体价格数值、各目标完整支持清单及 130+ 链的逐项列表,暂未提供。