草庐IT

allocatedVcores

全部标签

hadoop - 按尺寸对 yarn 的运行应用进行排名

我想到了一种按大小列出yarn正在运行的应用程序的方法。因为大小分为分配的MB和分配的VCore,我决定假设一个VCore大约为10000MB。#Useshttpieandjq,oryoucouldusecurlwith-HContent-Type:application/jsonhttphttp://yarn-web-ui-url:port/ws/v1/cluster/apps|jq'.apps.app|sort_by(.allocatedMB+.allocatedVCores*10000)|reverse|.[]|select(.state=="RUNNING")|{name,al

java - 通过 REST API : allocatedMB, allocatedVcores 和 runningContainers 的 Hadoop 指标始终为 -1

我们尝试报告每个用户的每月hadoop应用程序指标,并使用以下RESTAPI路径使用RESTAPI:http://[host:port]/ws/v1/cluster/app除了始终为-1的allocatedMB、allocatedVcores和runningContainers之外,返回的数据看起来不错。谁能解释一下这是为什么? 最佳答案 如果调用RM集群应用程序API时您的集群上没有正在运行的作业,您正在查看历史数据。基于Hadoop代码(hadoop-yarn-project/下的QueueStatisticsPBImpl.ja