草庐IT

hadoop - Sqoop 停留在进度的 5%

coder 2024-01-09 原文

我正在使用 Sqoop 将数据从 Oracle 导入到 HDFS。当 Job 启动时，它会停留在 5% 的进度上大约 1 小时，并且输出以下信息:

INFO mapreduce.Job: Task Id : attempt_1535519556038_0015_m_000037_0, Status : FAILED
Container launch failed for container_1535519556038_0015_01_000043 : org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container.
This token is expired. current time is 1536133107764 found 1536133094775
Note: System times on machines may be out of sync. Check system time and time zones.
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
        at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:168)
        at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)
        at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:155)
        at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:375)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)

然后它会继续，直到作业成功终止并导入所有数据。所以，我的问题是，在 5% 的进度中挂起作业的原因是什么？为什么会 self 纠正？正常吗？如果不是，是否可以与发布的信息相关联？我该如何解决？

最佳答案

错误消息清楚地解释了“启动容器的未经授权的请求。 此 token 已过期。

其中一个选项是通过设置来增加容器的生命周期: yarn.resourcemanager.rm.container-allocation.expiry-interval-ms 默认为 10 分钟。

注意:如果您在 yarn-site 中增加 yarn.resourcemanager.rm.container-allocation.expiry-interval-ms，这些作业将起作用.xml 配置文件。

<property>
   <name>yarn.resourcemanager.rm.container-allocation.expiry-interval-ms</name>
   <value>1000000</value>
</property>

关于hadoop - Sqoop 停留在进度的 5%，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52182122/

hadoopSqoopjavasectioncodeimporthdfs

有关hadoop - Sqoop 停留在进度的 5%的更多相关文章

  1. ruby-on-rails - 有没有办法为 CarrierWave/Fog 设置上传进度指示器？ - 2

    我在Rails应用程序中使用CarrierWave/Fog将视频上传到AmazonS3。有没有办法判断上传的进度，让我可以显示上传进度如何？ 最佳答案 CarrierWave和Fog本身没有这种功能；你需要一个前端uploader来显示进度。当我不得不解决这个问题时，我使用了jQueryfileupload因为我的堆栈中已经有jQuery。甚至还有apostonCarrierWaveintegration因此您只需按照那里的说明操作即可获得适用于您的应用的进度条。 关于ruby-on-r

  2. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  3. ruby - 交集完成后，顺序是否保留在数组中？ - 2

    当我对两个数组进行交集时，是否可以保证生成的顺序基于第一个数组的顺序？例如，如果我有a=[1,2,3]b=[3,2,1]可以a&b返回[3,2,1]，而不是[1,2,3](这是什么我希望)？我在RDoc或Pickaxe的Array文档中找不到任何直接解决这个问题的内容。RubySpec有一个规范，它createsanarraywithelementsinordertheyarefirstencountered，但我是否应该假设YARVRuby会遵守该规范？ 最佳答案 看起来这是一项有保证的功能。他们在revision39415中升级

  4. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  5. ruby - 停留在 EdgeCase Ruby Koans 上的 about_methods.rb - 2

    我正在通过EdgeCaseRubyKoans(www.rubykoans.com)进行黑客攻击，并且卡在about_methods.rbhere中从第35行开始的方法上。.运行rake可预见地失败并告诉我查看第36行。我有理由确定我的assert_match是正确的(“0代表2”)，但我不知道是什么失败了。assert_raise(___)行很可能应该在括号之间包含一些内容，但我不知道那应该是什么。任何提示或轻推？非常感谢。编辑:这是有问题的代码的一小段:defmy_global_method(a,b)a+bend-剪辑-deftest_calling_global_methods_w

  6. ruby - 获取 Ruby Net::HTTP POST 的上传进度 - 2

    我一直在搜索net/http代码，但还没有找到解决方案。我需要执行一个多部分POST请求，我已经弄清楚了，但是在上传中定期注入(inject)一个回调真的很好，这样我就可以增加一个进度条。有谁知道一种方法可以让代码执行HTTPpost期间发送的每X个字节？ 最佳答案 看起来您没有使用Rails，但我认为最简单的方法是从客户端进行。在浏览器设置中，您可以使用Flash(SWFUpload)或仅使用新的XMLHttpRequest内容向新浏览器提供进度条(上传在旧浏览器中仍然有效...只是没有进度条)。它的工作原理与您描述的略有不同，但

  7. ruby - 尝试将字符串拆分为单个单词或 "quoted words"，并希望将引号保留在结果数组中 - 2

    我正在尝试将像Presentationabout"TestDrivenDevelopment"这样的字符串拆分成这样的数组:['Presentation','about','"BehaviorDrivenDevelopment"']我已经尝试过CSV::parse_line(string,col_sep:'')，但这会导致['Presentation','about','BehaviorDrivenDevelopment']#I'mmissingthequoteshere我也尝试了一些正则表达式魔术，但我还是个初学者，没有成功。我想这对于专业人士来说很简单，所以也许有人可以指出我正确的

  8. Ruby 在复制文件时显示进度 - 2

    我希望能够在使用Ruby复制文件时显示文件复制操作的进度(当前使用FileUtils.cp)我已经尝试将verbose选项设置为是的，但这似乎只是向我展示了发出的复制命令。我现在正在从命令行运行这个脚本，所以理想情况下我希望能够像SCP在复制文件时那样呈现一些东西，但只要我能，我就不太在意呈现查看进度。 最佳答案 因为我没有足够的代表来编辑答案，所以这是我基于pisswillis答案的版本，我找到了progressbargem我也在我的例子中使用。我已经对此进行了测试，到目前为止它工作正常，但它可以做一些清理工作:require'r

  9. Ubuntu下Hadoop的单机安装 - 2

            云计算实验中要求我们在Linux系统安装Hadoop，故来做一个简单的记录。· 注：我的操作系统环境是Ubuntu-20.04.3，安装的JDK版本为jdk1.8.0_301，安装的Hadoop版本为hadoop2.7.1。（不确定其他版本是否会出现版本兼容问题）Hadoop安装步骤如下：        一、更新apt和安装vim编辑器        二、配置本机无密码登录SSH        三、安装JAVA环境        四、下载安装Hadoop        五、伪分布式搭建一、更新apt和安装vim编辑器1、更新aptsudoapt-getupdate2、安装vim

  10. ruby - Sinatra，上传表单中的进度条 - 2

    我正在开发一个Sinatra应用程序，它包含一个上传表单，并带有一个进度条，指示上传完成了多少。该过程，如ryandahl所述,如下:HTTPuploadprogressbarsareratherobfuscated-theytypicallyinvolveaprocessrunningontheserverkeepingtrackofthesizeofthetempfilethattheHTTPserveriswritingto,thenontheclientsideanAJAXcallismadeeverycouplesecondstotheserverduringtheuploa

随机推荐