SuperAPI AI 工具集

hbase

数据与分析

查看项目

更新于 10-16 05:48

技能介绍

用途:Apache HBase 是 Hadoop 数据库,一种分布式、可扩展的大数据存储,提供对大数据集的随机、实时读写访问。适用于在 HDFS 上存储 PB 级结构化/半结构化数据、对海量数据集做实时随机读写、管理稀疏宽列数据集,以及与 Hadoop/Spark 生态紧密集成运行分布式 MapReduce 和 Spark 流式作业。

主要能力:采用 Master-RegionServer 与 HDFS 架构,表被拆分为 Region 由 RegionServer 管理,持久化到 HDFS HFile;数据坐标由 (RowKey, ColumnFamily, ColumnQualifier, Timestamp) 寻址;写入路径为 WAL → MemStore → 刷写为不可变 HFile(LSM-Tree)。

使用方式:可通过 Java API 或 Shell 操作。示例:create 'users', 'info', 'data';put 'users', 'row1', 'info:name', 'Alice';get 'users', 'row1'。

最佳实践:对行键加盐或哈希前缀以避免 RegionServer 热点;列族名保持简短;建表时预分区;大范围扫描设置 scan.setCaching(500)。避免使用单调递增时间戳作行键、创建超过 2-3 个列族、忽视 ZooKeeper 健康。

常见问题:RegionServerOutOfMemoryError 需调整 hbase.regionserver.global.memstore.size 并使用 G1 GC;ZooKeeper 会话过期需优化 JVM GC 参数并增大 ZK 会话超时;TableNotEnabledException 可在 Shell 执行 enable 'tablename'。

限制:资料未提供具体版本、收费、平台与性能数据。