📦 AES EMR YARN Analyzer

YARN 整体资源消耗分析专家 基于 SSH 与 EMR API，深度解析 YARN 集群资源消耗趋势、队列利用率、闲置/超配风险及调度碎片化，输出健康度评估与容量规划建议。

触发方式

• “帮我分析下 [集群ID/名称] 集群的 YARN 负载”
• “查下 YARN 近期的负载情况”
• “查下最近一天 YARN 的使用情况”（默认最近 1 天）

架构设计 完全解耦 ✅ 技能独立，零外部依赖 ✅ 配置、数据、日志均存于 Skill 目录 ✅ 禁止读取外部文件或脚本

配置化设计 ✅ 集群 ID、AccessKey、时间范围等参数置于 config/config.yaml ✅ 改配置即可更新参数，无需动核心代码

数据存储 ✅ Cookie: data/cookies.json ✅ 日志: logs/execution.log ✅ 仅 Skill 自身可读写

执行效率 ✅ SSH + API 并行采集 ✅ 单命令 10-15 秒超时 ✅ 快速失败机制

目录结构 aes-emr-yarn/ ├── SKILL.md ├── config/config.yaml ├── data/cookies.json ├── logs/execution.log └── scripts/analyze_yarn.py

使用方法

• 编辑 config/config.yaml

cluster_id: "c-18275498cbe5aa79" access_key_id: "your_access_key_id" access_key_secret: "your_access_key_secret" region_id: "cn-hangzhou" time_range: "last_1d" granularity: "hourly" ssh_host: "8.136.137.42" ssh_user: "root" ssh_password: "your_password"

• 运行

python3 ~/.openclaw/workspace/skills/aes-emr-yarn/scripts/analyze_yarn.py 或 python3 scripts/analyze_yarn.py --config config/config.yaml

• 查看日志

tail -f ~/.openclaw/workspace/skills/aes-emr-yarn/logs/execution.log

输出示例 # YARN 资源消耗分析报告 集群 ID: c-18275498cbe5aa79 分析时间: 2026-04-29 13:30

1. 资源水位概览

• CPU: 总容量 X vCores | 利用率 Y%
• 内存: 总容量 X GB | 利用率 Y%
• 运行中 Container: Z

2. 节点状态

| 节点 | 状态 | 运行中 Container | |------|------|------------------| | core-1-1 | RUNNING | 0 | | core-1-2 | RUNNING | 1 |

3. 应用统计

• 总应用数: 138
• 运行中: 0
• 失败: 1

💡 优化建议

• 当前资源利用率较低，集群资源充足
• 如有失败任务，建议检查详细日志
• 可根据实际负载考虑节点扩缩容

性能优化

• 并行采集：耗时降 60%
• 超时控制：避免阻塞
• 快速失败：API 失败 2 次后跳过
• 本地存储：无网络依赖

错误处理

• 配置文件缺失：创建 config.yaml
• SSH 失败：检查 host/password
• API 失败：校验 AccessKey 与网络
• 日志写入失败：检查 logs/ 权限

安全注意

• chmod 600 config/config.yaml
• data/cookies.json 仅 Skill 可读写
• 日志脱敏，不记录完整 Secret
• 使用只读账号分析

最后更新：2026-04-29