草庐IT

Hadoop - 当有 Spark 作业正在运行时，Sqoop 作业卡在已接受状态

coder 2024-01-08 原文

目前我有一个始终需要运行的 spark 作业 (java)。它不需要太多资源。但是，每当我运行 sqoop 作业 (MapReduce) 时，该作业都会卡在已接受状态:WAITING分配、启动 AM 容器并向 RM 注册。

我检查了 Ambari，用于调度的 spark 配置是公平的。为了进行测试，我尝试运行 2 个相同的 spark 作业，但没有出现任何问题(两者的状态均为 RUNNING)。应该有足够的内核和内存来运行 map reduce 作业。

Spark 提交命令:

/usr/hdp/current/spark-client/bin/spark-submit \
  --class com.some.App \
  --master yarn-cluster \
  --deploy-mode cluster \
  --num-executors 1 \
  /path/to/file.jar "some.server:6667" "Some_App" "Some_App_Parser" "some.server"
jdbc:jtds:sqlserver://some.server:1433/HL7_Metadata
&; done

我的 sqoop 命令，我添加了内存限制但没有帮助:

sqoop import -D mapreduce.map.memory.mb=2048 \
    --connect "jdbc:sqlserver://some.server\SQL2012;database=SomeDB;username=someUser;passwor =somePass" \
    --e "SELECT SOMETHING" where  \$CONDITIONS"\
    --fields-terminated-by \\002 \
    --escaped-by \\ \
    --check-column Message_Audit_Log_Id \
    --incremental append \
    --last-value 1 \
    --split-by Message_Audit_Log_Id \
    --target-dir /target/path/

这里有一些图片供引用:

最佳答案

我在 Hortonworks 上找到了帮助。

我必须将 yarn.scheduler.capacity.maximum-am-resource-percent 从 0.2 更改为 0.4。

在此之后，我可以同时运行 sqoop map reduce 作业和我的 spark 应用程序。

答案链接 https://community.hortonworks.com/questions/147101/hadoop-sqoop-job-stuck-on-accepted-when-there-is-a.html

关于Hadoop - 当有 Spark 作业正在运行时，Sqoop 作业卡在已接受状态，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/47142802/

HadoopSparksectionsqoopapache-sparkmapreducehadoop-yarn

有关Hadoop - 当有 Spark 作业正在运行时，Sqoop 作业卡在已接受状态的更多相关文章

  1. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  2. ruby - 我正在学习编程并选择了 Ruby。我应该升级到 Ruby 1.9 吗？ - 2

    我完全不是程序员，正在学习使用Ruby和Rails框架进行编程。我目前正在使用Ruby1.8.7和Rails3.0.3，但我想知道我是否应该升级到Ruby1.9，因为我真的没有任何升级的“遗留”成本。缺点是什么？我是否会遇到与普通gem的兼容性问题，或者甚至其他我不太了解甚至无法预料的问题？ 最佳答案 你应该升级。不要坚持从1.8.7开始。如果您发现不支持1.9.2的gem，请避免使用它们(因为它们很可能不被维护)。如果您对gem是否兼容1.9.2有任何疑问，您可以在以下位置查看:http://www.railsplugins.or

  3. ruby - 在好的 Ruby 代码中没有注释是否被认为是可以接受的？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭5年前。Improvethisquestion我审查了一些用Ruby编写的专业代码，没有发现任何评论。代码读起来相当清晰，但没有self记录。我应该期望专业编写的Ruby代码有注释吗？或者，是否有一些Ruby原则认为注释不是必需的？

  4. ruby-on-rails - 在所有延迟的作业之前 Hook - 2

    是否可以在所有delayed_job任务之前运行一个方法？基本上，我们试图确保每个运行delayed_job的服务器都有我们代码的最新实例，所以我们想运行一个方法来在每个作业运行之前检查它。(我们已经有了“check”方法并在别处使用它。问题只是关于如何从delayed_job中调用它。) 最佳答案 现在有一种官方方法可以通过插件来做到这一点。这篇博文通过示例清楚地描述了如何执行此操作http://www.salsify.com/blog/delayed-jobs-callbacks-and-hooks-in-rails(本文中描述

  5. ruby-on-rails - Ruby rand() 不能接受变量？ - 2

    我对此有点困惑。我在RoR项目中的最终目标是从我的数据库中获取单个随机配置文件。我想它应该是这样的:@profile=Profile.find_by_user_id(rand(User.count))它一直抛出错误，因为user_id0不存在，所以我把它的一部分拿出来检查发生了什么:@r=rand(User.count)每次都返回0。发生什么了？我注册了5个假用户和5个相关配置文件来测试这个。如果我将Profile.find_by_user_id(rand(User.count))重写为Profile.find_by_user_id(3)它工作得很好。User.count也在工作。所以

  6. ruby - 如何测试正在使用 RSpec 和 Mocha 调用的混合类方法？ - 2

    我有一个模块:moduleMyModuledefdo_something#...endend由类使用如下:classMyCommandextendMyModuledefself.execute#...do_somethingendend如何验证MyCommand.execute调用了do_something？我已经尝试使用mocha进行部分模拟，但是当未调用do_something时它不会失败:it"callsdo_something"doMyCommand.stubs(:do_something)MyCommand.executeend 最佳答案

  7. Ruby gsub 方法 - 接受散列？ - 2

    Ruby的gsub字符串方法应该接受散列。如此处所写:http://www.ruby-doc.org/core/classes/String.html#M001185“如果第二个参数是一个哈希，并且匹配的文本是它的键之一，则对应的值是替换字符串。”他们举了一个例子:'hello'.gsub(/[eo]/,'e'=>3,'o'=>'*')#=>"h3ll*"问题是，它对我不起作用(ruby1.8.7):in`gsub':can'tconvertHashintoString(TypeError)这发生在完全相同的行上。为什么？ 最佳答案

  8. ruby - ruby 中的同一个程序如何接受来自用户的输入以及命令行参数 - 2

    我的ruby​​脚本从命令行参数获取某些输入。它检查是否缺少任何命令行参数，然后提示用户输入。但是我无法使用gets从用户那里获得输入。示例代码:test.rbname=""ARGV.eachdo|a|ifa.include?('-n')name=aputs"Argument:#{a}"endendifname==""puts"entername:"name=getsputsnameend运行脚本:rubytest.rbraghav-k错误结果:test.rb:6:in`gets':Nosuchfileordirectory-raghav-k(Errno::ENOENT)fromtes

  9. ruby-on-rails - 使用 Rspec 测试 rake 任务不接受参数 - 2

    根据thispostbyStephenHagemann，我正在尝试为我的一个rake任务编写Rspec测试.lib/tasks/retry.rake:namespace:retrydotask:message,[:message_id]=>[:environment]do|t,args|TextMessage.new.resend!(args[:message_id])endendspec/tasks/retry_spec.rb:require'rails_helper'require'rake'describe'retrynamespaceraketask'dodescribe're

  10. ruby - 使实例方法在运行时私有(private) - 2

    在另一个对象中注册该对象后，我需要将一些实例方法设为私有(private)。我不想卡住对象，因为它必须保持可编辑状态，只是功能较少。而且我不想取消定义这些方法，因为它们是在内部使用的。我需要的是这样的:classMyClassdefmy_methodputs"Hello"endenda=MyClass.newb=MyClass.newa.my_method#=>"Hello"a.private_instance_method(:my_method)a.my_method#=>NoMethodErrorb.my_method#=>"Hello"有什么想法吗？

随机推荐