SuperAPI AI 工具集

hadoop

通用与其它

查看项目

更新于 10-15 23:46

技能介绍

用途:面向使用 Hadoop 生态(HDFS、YARN、MapReduce、Hive)的场景,协助进行集群诊断、作业优化、存储管理与分布式处理故障排查。

主要能力:先检查集群健康(hdfs dfsadmin -report、yarn node -list),再处理存储(hdfs dfs -df -h、hdfs fsck / -files -blocks),并关注 YARN 调度器类型、副本因子、日志位置、安全模式与内存配置。提供 HDFS 导航、数据移动、维护、块管理命令,以及 YARN 应用生命周期与队列管理命令。

使用方式:若 ~/hadoop/ 不存在或为空,先阅读 setup.md。记忆保存在 ~/hadoop/,含 memory.md、clusters/ 与 scripts/。参考文件包括 setup.md、memory-template.md、hdfs.md、yarn.md、troubleshooting.md。

限制:不存储凭据(需单独使用 kinit/keytab),不进行集群外的外部 API 调用,破坏性命令需用户明确确认。部分命令会读取系统路径(/var/log、/etc/hadoop/conf)。相关技能可用 clawhub install <slug> 安装(linux、docker、bash)。