草庐IT

1524473936587

全部标签

hadoop - 容器运行超出物理内存限制

我有一个处理1.4Tb数据的MapReduce作业。执行此操作时,出现如下错误。拆分数为6444。在开始工作之前,我设置了以下设置:conf.set("mapreduce.map.memory.mb","8192");conf.set("mapreduce.reduce.memory.mb","8192");conf.set("mapreduce.map.java.opts.max.heap","8192");conf.set("mapreduce.map.java.opts","-Xmx8192m");conf.set("mapreduce.reduce.java.opts","-X