草庐IT

Hadoop 溢出故障

coder 2024-01-06 原文

我目前正在使用 Hadoop 0.21.0、985326 和一个由 6 个工作节点和一个头节点组成的集群来开发一个项目。 提交常规 mapreduce 作业失败，但我不知道为什么。有人以前见过这个异常吗？

org.apache.hadoop.mapred.Child: Exception running child : java.io.IOException: Spill failed
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.checkSpillException(MapTask.java:1379)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.access$200(MapTask.java:711)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer$Buffer.write(MapTask.java:1193)
    at java.io.DataOutputStream.write(DataOutputStream.java:90)
    at org.apache.hadoop.io.Text.write(Text.java:290)
    at org.apache.hadoop.io.serializer.WritableSerialization$WritableSerializer.serialize(WritableSerialization.java:100)
    at org.apache.hadoop.io.serializer.WritableSerialization$WritableSerializer.serialize(WritableSerialization.java:84)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.collect(MapTask.java:967)
    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.write(MapTask.java:583)
    at org.apache.hadoop.mapreduce.task.TaskInputOutputContextImpl.write(TaskInputOutputContextImpl.java:92)
    at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.write(WrappedMapper.java:111)
    at be.ac.ua.comp.ronny.riki.invertedindex.FilteredInvertedIndexBuilder$Map.map(FilteredInvertedIndexBuilder.java:113)
    at be.ac.ua.comp.ronny.riki.invertedindex.FilteredInvertedIndexBuilder$Map.map(FilteredInvertedIndexBuilder.java:1)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:652)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:328)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:217)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:742)
    at org.apache.hadoop.mapred.Child.main(Child.java:211)
Caused by: java.lang.RuntimeException: java.lang.NoSuchMethodException: org.apache.hadoop.io.ArrayWritable.<init>()
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:123)
    at org.apache.hadoop.io.serializer.WritableSerialization$WritableDeserializer.deserialize(WritableSerialization.java:68)
    at org.apache.hadoop.io.serializer.WritableSerialization$WritableDeserializer.deserialize(WritableSerialization.java:44)
    at org.apache.hadoop.mapreduce.task.ReduceContextImpl.nextKeyValue(ReduceContextImpl.java:145)
    at org.apache.hadoop.mapreduce.task.ReduceContextImpl.nextKey(ReduceContextImpl.java:121)
    at org.apache.hadoop.mapreduce.lib.reduce.WrappedReducer$Context.nextKey(WrappedReducer.java:291)
    at org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:168)
    at org.apache.hadoop.mapred.Task$NewCombinerRunner.combine(Task.java:1432)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.sortAndSpill(MapTask.java:1457)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.access$600(MapTask.java:711)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer$SpillThread.run(MapTask.java:1349)
Caused by: java.lang.NoSuchMethodException: org.apache.hadoop.io.ArrayWritable.<init>()
    at java.lang.Class.getConstructor0(Class.java:2706)
    at java.lang.Class.getDeclaredConstructor(Class.java:1985)
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)
    ... 10 more

目前，我正在试验一些配置参数，希望这个错误消失，但直到现在都没有成功。 我正在调整的配置参数是:

  • mapred.map.tasks = 60
  • mapred.reduce.tasks = 12
  • Job.MAP_OUTPUT_COMPRESS(或 mapreduce.map.output.compress)= true
  • Job.IO_SORT_FACTOR(或 mapreduce.task.io.sort.factor)= 10
  • Job.IO_SORT_MB(或 mapreduce.task.io.sort.mb)= 256
  • Job.MAP_JAVA_OPTS(或 mapreduce.map.java.opts)=“-Xmx256”或“-Xmx512”
  • Job.REDUCE_JAVA_OPTS(或 mapreduce.reduce.java.opts)=“-Xmx256”或“-Xmx512”

谁能解释为什么会出现上述异常？以及如何避免呢？或者只是简单解释一下 hadoop 溢出操作意味着什么？

最佳答案

好了，所有问题都解决了。

Map-Reduce 序列化操作需要为 org.apache.hadoop.io.ArrayWritable 内置一个默认构造函数。
Hadoops 实现没有为 ArrayWritable 提供默认构造函数。
这就是为什么抛出 java.lang.NoSuchMethodException: org.apache.hadoop.io.ArrayWritable.() 并导致奇怪的溢出异常。

一个简单的包装器使 ArrayWritable 真正可写并修复了它!奇怪的是 Hadoop 没有提供这个。

关于Hadoop 溢出故障，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/4233214/

Hadoop溢出javaapachemapreducereduce

有关Hadoop 溢出故障的更多相关文章

  1. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  2. ruby - 如何模拟 Fixnum 变量的整数溢出？ - 2

    我目前正在将一种算法从Java转换为Ruby，但由于Ruby中缺少整数溢出，我遇到了一些障碍。假设我的值为2663860877，它大于最大整数2147483648。在Java中，它环绕，我应该得到-1631106419。我找到了这段代码，但它似乎不起作用:defforce_overflow(i)ifi2147483647i&0xffffffffelseiendend并且'ing变量不会像您期望的那样强制它为负。 最佳答案 假设32位整数具有二进制补码负数，这应该可行:defforce_overflow_signed(i)force_

  3. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  4. ruby - 如何检查 RSpec 测试套件中的故障？ - 2

    我正在试验RSpec并考虑一个仅在测试套件通过时才更改随机种子的系统。我试图在after(:suite)block中实现它，该block在RSpec::Core::ExampleGroup对象的上下文中执行。虽然RSpec::Core::Example有一个方法“exception”，允许您检查是否有任何测试失败，但在上似乎没有类似的方法RSpec::Core::ExampleGroup或示例列表的任何访问器。那么，如何检查测试是通过还是失败？我知道这可以使用自定义格式化程序来跟踪是否有任何测试失败，但格式化过程影响测试的实际运行似乎不是一个好主意。 最佳答

  5. Ubuntu下Hadoop的单机安装 - 2

            云计算实验中要求我们在Linux系统安装Hadoop，故来做一个简单的记录。· 注：我的操作系统环境是Ubuntu-20.04.3，安装的JDK版本为jdk1.8.0_301，安装的Hadoop版本为hadoop2.7.1。（不确定其他版本是否会出现版本兼容问题）Hadoop安装步骤如下：        一、更新apt和安装vim编辑器        二、配置本机无密码登录SSH        三、安装JAVA环境        四、下载安装Hadoop        五、伪分布式搭建一、更新apt和安装vim编辑器1、更新aptsudoapt-getupdate2、安装vim

  6. Docker启动故障问题 no such file or directory解决方法 - 2

    1.现象服务重启后，通过dockerstart方式无法启动实例，报出错误：Errorresponsefromdaemon:errorcreatingoverlaymountto/var/lib/docker/overlay2/xxx/merged:nosuchfileordirectorydockersave导出镜像也报出2.网上各种尝试摸索无效果修改daemon.json中的storage-driver为overlay，重启无效果。禁用selinux，临时或永久方式都无效果。修改/etc/docker/daemon.json中的storage-driver为overlay2，无效果。修改/l

  7. ruby-on-rails - FactoryGirl 关联模型故障 : "SystemStackError: stack level too deep" - 2

    我正在使用RubyonRails3.0.9、RSpec-rails2和FactoryGirl。我正在尝试陈述一个工厂协会模型，但我遇到了麻烦。我有一个factories/user.rb文件，如下所示:FactoryGirl.definedofactory:user,:class=>Userdoattribute_1attribute_2...association:account,:factory=>:users_account,:method=>:build,:email=>'foo@bar.com'endend和一个factories/users/account.rb文件，如下所示

  8. 通过可视化运维配置，实现故障秒级自愈 - 2

    急促的告警铃声响彻寂静的夜晚。对运维人来说，晚间值守耗费更大的精力，往往一个简单的磁盘使用率告警通知，就不得不爬起来进行处理，毕竟告警无小事，对于小问题，运维人也不能心存侥幸心理。虽然有着值班人员和团队的支撑，但频繁的告警还是让运维人员精疲力竭，如何让系统的稳定性提高，减轻一线人员的工作量，减轻一线人员的压力？通过智能运维，实现故障自愈将成为不可避免的选择。故障自愈是提升企业网络系统可用性和降低故障处理的人力投入，实现故障自愈从"人工处理"到"无人值守"的变革。通过实时发现告警，进行预诊断分析，判断告警类型和级别，如果是一般告警，平台进行自动恢复，如果是严重复杂告警则通过告警通知、运维工单等形

  9. ruby - 为什么 10^9942066 是我可以计算而不会溢出的最大功率？ - 2

    在ruby​​中，一些大数大于无穷大。通过二分查找，我发现:(1.0/0)>10**9942066.000000001#=>false(1.0/0)>10**9942066#=>trueRUBY_VERSION#=>"2.3.0"为什么是这样？109942066有什么特别之处？它似乎不是像9999999这样的任意数字，它不接近任何2的幂(它大约等于233026828.36662442)。为什么ruby的无穷大不是无穷大？109942066是怎么参与的？我现在意识到，任何大于109942066的数字都会溢出到无穷大:10**9942066.000000001#=>Infinity10**

  10. 【车载开发系列】UDS诊断---DTC故障码基础回顾 - 2

    【车载开发系列】UDS诊断—DTC故障码基础回顾UDS诊断---DTC故障码基础回顾【车载开发系列】UDS诊断---DTC故障码基础回顾一.什么是DTC故障码二.DTC故障码的作用三.什么是自诊断需求四.故障自诊断范围是什么五.DTC故障码的格式及组成六.DTC之故障所属系统七.DTC之故障类型八.DTC之所属子系统九.DTC之故障失效类型十.DTC故障码的表示十一.故障指示的概念十二.什么是故障快照信息十三.什么是故障扩展信息十四.故障扩展信息和快照信息的作用十五.DTC故障码的状态位十六.状态码的作用是什么十七.DTC故障信息存储机制十八.什么是故障自恢复策略十九.与操作DTC故障码相关的

随机推荐