草庐IT

hadoop - yarn 不尊重 yarn.nodemanager.resource.cpu-vcores

coder 2024-01-05 原文

我正在使用 Hadoop-2.4.0，我的系统配置是 24 个内核，96 GB RAM。

我正在使用以下配置

mapreduce.map.cpu.vcores=1
yarn.nodemanager.resource.cpu-vcores=10
yarn.scheduler.minimum-allocation-vcores=1
yarn.scheduler.maximum-allocation-vcores=4
yarn.app.mapreduce.am.resource.cpu-vcores=1

yarn.nodemanager.resource.memory-mb=88064
mapreduce.map.memory.mb=3072
mapreduce.map.java.opts=-Xmx2048m

容量调度器配置

queue.default.capacity=50
queue.default.maximum_capacity=100
yarn.scheduler.capacity.root.default.user-limit-factor=2

使用上述配置，我预计 yarn 不会在每个节点启动超过 10 个映射器，但它会在每个节点启动 28 个映射器。 我做错了什么吗？？

最佳答案

YARN 运行的容器多于分配的内核，因为默认情况下 DefaultResourceCalculator用来。它只考虑内存。

public int computeAvailableContainers(Resource available, Resource required) {
// Only consider memory
return available.getMemory() / required.getMemory();
  }

使用 DominantResourceCalculator，它同时使用 cpu 和内存。

在capacity-scheduler.xml中设置以下配置

yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

更多关于 DominantResourceCalculator

关于hadoop - yarn 不尊重 yarn.nodemanager.resource.cpu-vcores，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/25563736/

yarnnodemanagersectionresourcehadoopmapreduceclouderahadoop-yarnhadoop2

有关hadoop - yarn 不尊重 yarn.nodemanager.resource.cpu-vcores的更多相关文章

  1. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  2. ruby-on-rails - 自定义 Rails 的默认 Resourceful Route 路径 - 2

    长话短说我想更改Rails资源路由的默认行为，移动所有资源的create路径，使其成为/resources/new的POST而不是比/resources。设置让我们假设一个像这样指定的足智多谋的路线:#routes.rbresources:events实际生成的路由是:$rakeroutesPrefixVerbURIPatternController#ActioneventsGET/events(.:format)events#indexPOST/events(.:format)events#createnew_eventGET/events/new(.:format)events#n

  3. ruby-on-rails - 负载测试期间 Unicorn CPU 使用率激增，优化方法 - 2

    我对为我的RubyonRails3.1.3应用优化我的Unicorn设置的方法很感兴趣。我目前正在高CPU超大实例上生成14个工作进程，因为我的应用程序在负载测试期间似乎受CPU限制。在模拟负载测试中，每秒大约20个请求重放请求，我的实例上的所有8个内核都达到峰值，盒子负载飙升至7-8个。每个unicorn实例使用大约56-60%的CPU。我很好奇可以通过哪些方式对其进行优化？我希望能够每秒将更多请求汇集到这种大小的实例上。内存和所有其他I/O一样完全正常。在我的测试过程中，CPU越来越低。 最佳答案 如果您受CPU限制，您希望使用

  4. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  5. ruby-on-rails - rails : route helpers for nested resources - 2

    我有如下嵌套资源:resources:categoriesdoresources:productsend根据RailsGuides,Youcanalsouseurl_forwithasetofobjects,andRailswillautomaticallydeterminewhichrouteyouwant:Inthiscase,Railswillseethat@magazineisaMagazineand@adisanAdandwillthereforeusethemagazine_ad_pathhelper.Inhelperslikelink_to,youcanspecifyju

  6. ruby - Ruby 进程如何限制其 CPU 使用率？ - 2

    假设我希望Ruby进程使用的CPU不超过15%。是否可以？怎么办？ 最佳答案 您可以尝试使用Process.setrlimit来自标准核心:Setstheresourcelimitoftheprocess.这看起来只是setrlimit的包装器来自C库，因此它可能仅在Unix-ish平台上可用。setrlimit不支持CPU百分比限制，但它支持以秒为单位限制CPU时间。如果您只是想让您的Ruby进程不占用整个CPU，那么您可以尝试使用Process.setpriority来调整它的优先级。这只是libc的setpriority的包装

  7. ruby-on-rails - Rails error resource_name - 设计帮助路由和渲染 - 2

    我正在尝试呈现Devisegem的登录View，但出现错误，下面是我目前拥有的代码:这是我的views/users/shared/_links.html.erb:还有我的config/routes.rb:Densidste::Application.routes.drawdomatch'user/edit'=>'users#edit',:as=>:edit_current_usermatch'signup'=>'devise/users#new',:as=>:signupmatch'logout'=>'devise/sessions#destroy',:as=>:logoutdevis

  8. ruby - 如何在尊重隐私的情况下动态调用方法 - 2

    使用动态方法调用(#send或#method)，方法的可见性将被忽略。有没有一种简单的方法可以动态调用调用私有(private)方法失败的方法？ 最佳答案 据我所知-你需要public_send方法:-----------------------------------------------------Object#public_sendobj.public_send(symbol[,args...])=>objFromRuby1.9.1-----------------------------------------------

  9. ruby - Unicorn Rails - 在生产模式下启动时占用 100% CPU - 2

    我们正在使用Unicorn_Rails+nginx。它在我的系统(4GBRam，Intel(R)Core(TM)2DuoCPUP8600@2.40GHz)的开发模式和生产模式下运行良好我能够在本地系统中启动10个worker，但在任何情况下都无法在生产中启动超过2个有时它可以工作，但需要等待15-20米启动unicorn_rails时一直占用99.6%的CPU英特尔(R)至强(R)CPUE5507@2.27GHz但它卡在亚马逊(m1.small实例)1.73GB内存我发现没有人在任何地方谈论使用unicorn_rails启动缓慢...... 最佳答案

  10. ruby-on-rails - Rails、Minitest 和 Guard - 为什么 rb-fsevent 占用了超过 100% 的 CPU？ - 2

    我在我的Rails应用程序中运行守卫，测试套件(最小的)最近停止正常工作。如果幸运的话，它会运行所有测试一次，也许两次。在那之后，即使是一个小的测试文件被更改也需要很长时间才能响应，以至于使用gem变得徒劳无功。在测试运行时跟随top，我可以看到有一个ruby​​进程持续占用了超过100%的CPU。即使所有测试都已运行并且我没有对文件进行任何更改。ruby进程是:/Users/Bodacious/.rvm/gems/ruby-2.0.0-p247@MyApp/gems/rb-fsevent-0.9.3/bin/fsevent_watch--latency0.1/Users/Bodaio

随机推荐