SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场starrocks-monitoring

starrocks-monitoring

数据与分析

查看项目

更新于 10-16 06:58

技能介绍

用途

StarRocks Monitoring 用于观察和维护正在运行的 StarRocks 集群，涵盖健康指标、compaction、tablet 修复、统计信息以及例行维护。

适用时机包括：

  • 检查集群/BE 健康状态、磁盘使用或 tablet 分布
  • 查看运行中的查询并终止失控查询
  • 诊断或触发 compaction
  • 修复或重平衡 tablet/副本
  • 为基于代价的优化器（CBO）收集统计信息
  • 规划每日/每周/每月维护

相关技能：starrocks-cluster-setup 用于节点拓扑与配置；starrocks-resource-management 用于工作负载隔离；starrocks-backup-recovery 用于快照；starrocks-query-optimization 用于查询级诊断。

主要能力

关键监控指标

集群健康：

-- Backend status and load
SHOW PROC '/backends';

-- Disk usage per BE
SHOW PROC '/statistic';

-- Tablet distribution
SHOW PROC '/statistic/{be_id}';

查询性能：

-- Recent queries
SELECT * FROM information_schema.loads ORDER BY StartTime DESC LIMIT 10;

-- Running queries
SHOW PROCESSLIST;

-- Kill slow query
KILL QUERY connection_id;

-- Query profile (after execution)
SHOW QUERY PROFILE '<query_id>';

数据加载：

-- Recent load jobs (Broker Load / INSERT / Spark Load)
SHOW LOAD ORDER BY CreateTime DESC LIMIT 10;

-- Failed loads
SHOW LOAD WHERE State = 'CANCELLED';

-- Stream Load / Routine Load are not shown by SHOW LOAD; query information_schema instead
SELECT * FROM information_schema.loads ORDER BY create_time DESC LIMIT 10;

Compaction 管理

-- Check compaction status
SHOW PROC '/compactions';

-- Trigger manual compaction (v3.1+): whole table, a partition, or cumulative
ALTER TABLE table_name COMPACT;
ALTER TABLE table_name COMPACT partition_name;
ALTER TABLE table_name CUMULATIVE COMPACT;

-- Compaction thresholds are BE configuration, NOT table properties.
-- Tune them in be.conf or dynamically via the be_configs table, e.g.:
UPDATE information_schema.be_configs
SET value = "100"
WHERE name = "max_cumulative_compaction_num_singleton_deltas";

Tablet 修复与重平衡

-- Check tablet health
ADMIN SHOW REPLICA STATUS FROM table_name;

-- Check tablet distribution
SHOW TABLET FROM table_name;

-- Trigger tablet repair (if replicas are corrupted)
ADMIN REPAIR TABLE table_name;

-- Manual tablet rebalance (usually automatic)
ADMIN REBALANCE DISK;

例行维护任务

每日：

  • 监控加载作业失败
  • 检查查询延迟
  • 审查磁盘使用

每周：

  • 分析慢查询
  • 审查分区保留策略
  • 检查 compaction 滞后

每月：

  • 审查并优化 bucket 数量
  • 分析数据倾斜
  • 更新统计信息（如使用 CBO）

统计信息收集（用于 CBO）

-- Collect statistics for better query planning (manual, synchronous by default)
ANALYZE TABLE table_name;

-- Collect for specific columns
ANALYZE TABLE table_name (col1, col2);

-- Automatic full collection is ON by default (no per-table property needed);
-- it is governed by FE config (e.g. enable_collect_full_statistic,
-- statistic_auto_analyze_start_time / _end_time). Define a recurring custom
-- collection job with CREATE ANALYZE if you need finer control.

-- Check collection status and statistics metadata
SHOW ANALYZE STATUS;
SHOW META;

故障排查命令

-- Check FE logs
ADMIN SHOW FRONTEND CONFIG LIKE 'log%';

-- Show system variables
SHOW VARIABLES;

-- Show session variables
SHOW SESSION VARIABLES;

-- Check metadata inconsistencies
ADMIN CHECK TABLET (tablet_id);

-- Show query plan and profile
EXPLAIN VERBOSE SELECT ...;
EXPLAIN COSTS SELECT ...;

使用方式

该技能以命令与操作指引的形式提供，用户可在 StarRocks 环境中执行上述 SQL 语句完成监控与维护操作。具体安装或集成方式暂未提供。

适用场景

  • StarRocks 集群日常运维与健康巡检
  • 查询性能问题排查与失控查询处理
  • Compaction 滞后诊断与手动触发
  • Tablet/副本异常修复与磁盘重平衡
  • CBO 统计信息收集与维护计划制定

限制

资料未提供该技能的收费、价格、平台支持范围或效果保证等信息。部分命令（如手动 compaction）标注需 v3.1+ 版本。Compaction 阈值属于 BE 配置而非表属性，需在 be.conf 或通过 be_configs 表调整。