SuperAPI AI 工具集

bigquery-blockchain-datasets

数据与分析

查看项目

更新于 10-16 06:43

技能介绍

用途:在 bigquery-public-data 项目下用标准 SQL 查询全历史、持续更新的区块链公共数据集,表通常距链头数分钟。每个数据集配套参考文件(如 references/ethereum.md、references/evm-shared-schema.md、references/tron.md、references/crypto-ethereum.md),写 SQL 前应先阅读以获取表结构与各链注意事项。

主要能力:覆盖 goog_blockchain_ethereum_mainnet_us(含 blocks、transactions、logs、receipts、traces、token_transfers、decoded_events、accounts_state 及地址聚类投影)、Polygon PoS、Arbitrum One、OP Mainnet、Avalanche C-Chain、Cronos(共享 EVM 表结构)、TRON,以及 legacy ethereum-etl 布局的 crypto_ethereum 和 crypto_bitcoin。两套 Ethereum 数据集并存:原生模型更丰富(receipts、decoded events、带证明的逐块账户状态),crypto_ethereum 适合旧布局查询或需要代币元数据、合约创建数据时使用;两者列名不同(block_number vs number),不可互换。references/recipes.md 提供已执行配方及实测字节。

使用方式:先选定数据集并读参考文件;只选择所需列并加上区块或时间范围;先 dry-run 检查扫描字节,再以 --maximum_bytes_billed 设置硬上限并用 --location=US 执行(数据集仅限 US);脚本 scripts/bq-safe.sh 可一次完成 dry-run→限额→运行,其余脚本用于查看分区、重建大小表与 schema 表。若环境无执行路径,应给出最终 SQL 和 dry-run 预期,由用户粘贴到 BigQuery 控制台,不得编造结果。

限制与要点:LIMIT 不降低费用;禁止对非元数据表使用 SELECT *;宽 STRING 列是成本主因。数值注意精度,勿用 FLOAT64 往返资金值;地址与哈希为小写 0x 前缀字符串;单位分别为 wei、sun、satoshi;不要仅按交易哈希去重,安全行标识为 (block_number 或哈希, transaction_hash);链头附近查询不可复现,需固定上界。链上数据以区块固定 RPC 读取为准。