通过ResourceManager REST API’s对Yarn服务进行监控

疯狂的小强呀

3202人浏览 · 2022-04-15 17:31:26

疯狂的小强呀 · 2022-04-15 17:31:26 发布

监控ResourceManager状态

官方网址：https://hadoop.apache.org/docs/r2.8.4/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Information_API
官方API如下：
在这里插入图片描述
例如，我这里可以通过http://node04:8088/ws/v1/cluster可以访问到ResourceManager的状态信息（node04是我配置hadoop服务的主机名，你们要根据自己的配置主机进行修改，8088是yarn资源调度器中的RM的访问端口）
具体访问内容如下：
在这里插入图片描述
官方API给每个元素的解释如下：

元素	含义
id	集群 ID
startedOn	集群启动的时间（以毫秒为单位）
state	ResourceManager 状态 - 有效值为：NOTINITED、INITED、STARTED、STOPPED
haState	ResourceManager HA 状态 - 有效值为：INITIALIZING、ACTIVE、STANDBY、STOPPED
resourceManagerVersion	资源管理器的版本
resourceManagerBuildVersion	ResourceManager 构建字符串，包含构建版本、用户和校验和
resourceManagerVersionBuiltOn	ResourceManager 构建时的时间戳（自纪元以来的毫秒数）
hadoopVersion	hadoop常用版本
hadoopBuildVersion	具有构建版本、用户和校验和的 Hadoop 通用构建字符串
hadoopVersionBuiltOn	构建hadoop common时的时间戳（自纪元以来的毫秒数）

通过jmx监控ResourceManager

访问路径：http://node04:8088/jmx?qry=Hadoop:service=ResourceManager,name=ClusterMetrics
获取内容如下：
在这里插入图片描述

监控yarn集群的指标

官方网址：https://hadoop.apache.org/docs/r2.8.4/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Metrics_API
官方API如下：
在这里插入图片描述
例如，我这里可以通过http://node04:8088/ws/v1/cluster可以访问到ResourceManager的集群指标（node04是我配置hadoop服务的主机名，你们要根据自己的配置主机进行修改，8088是yarn资源调度器中的RM的访问端口）
具体访问内容如下：
在这里插入图片描述
官方对每个元素的解释如下：

元素	解释
appsSubmitted	提交的申请数量
appsCompleted	已完成的申请数量
appsPending	待处理的申请数量
appsRunning	运行的应用程序数量
appsFailed	申请失败次数
appsKilled	被杀死的应用程序数量
reservedMB	保留的内存量（以 MB 为单位）
availableMB	可用内存量（以 MB 为单位）
allocatedMB	以 MB 为单位分配的内存量
totalMB	以 MB 为单位的总内存量
reservedVirtualCores	保留的虚拟核心数
availableVirtualCores	可用虚拟核心数
allocatedVirtualCores	分配的虚拟核心数
totalVirtualCores	虚拟核心总数
containersAllocated	分配的容器数量
containersReserved	保留的容器数量
containersPending	待处理的容器数
totalNodes	节点总数
activeNodes	活跃节点数
lostNodes	丢失节点数
unhealthyNodes	不健康节点数
decommissionedNodes	退役节点数
rebootedNodes	重启的节点数