我正在尝试运行Wordcount示例，但我遇到了这样的问题:13/12/0119:46:49ERRORsecurity.UserGroupInformation:PriviledgedActionExceptionas:playercause:org.apache.hadoop.ipc.RemoteException:org.apache.hadoop.mapred.SafeModeException:JobTrackerisinsafemodeatorg.apache.hadoop.mapred.JobTracker.checkSafeMode(JobTracker.java:518
如Hadoop权威指南中所述，在提交MR作业期间，会计算输入拆分，然后将其复制到JobTracker的文件系统。但是，如果数据真的很大，这对我来说没有意义。这个副本会花费很多时间，而且，如果运行JobTracker的节点没有足够的空间，这个副本会怎么样？请阐明这个处理框架。提前致谢。 最佳答案 InputSplits只是block边界的逻辑抽象。一般一个InputSplit包含以下信息:文件路径区block起始位置要处理的文件中的字节数包含正在处理的文件block的主机列表对于给定的工作，它是JobClient的责任通过调用内部调用
集群中添加了一些节点。我的M/R作业在其中任何一个上执行时都失败了。确切原因尚不清楚，需要几天时间才能找到解决方案，因此我正在寻找临时解决方法。有没有办法在作业级别排除这些节点(mapreduce.jobtracker.hosts.exclude.filename)？或者将旧的工作节点列入白名单(mapreduce.jobtracker.hosts.filename)？ 最佳答案 您可以将以下属性设置为2mapred.max.tracker.failures2并且它将在这些节点上使作业2失败两次并在其他地方继续
Hadoop2.2.0似乎没有jobtracker。JPS不显示，50030端口无人监听，logs文件夹下也没有jobtracker的日志。这是因为YARN吗？如何配置和启Action业跟踪器？ 最佳答案 如果您使用的是YARN框架，则其中没有jobtracker。它的功能被拆分并替换为ResourceManager和ApplicationMaster。这是运行YARN时预期的jps输出$jps18509Jps17107NameNode17170DataNode17252ResourceManager17309NodeManager
如果我不执行任何map/reduce作业，是否仍需要运行JobTracker/TaskTrackers以获取某些HBase内部依赖项？ 最佳答案 不，您不需要同时运行HBase。提示:总有一些脚本可以启动HDFS，例如bin/start-dfs.sh。 关于hadoop-HBase:我需要jobtracker/tasktracker吗，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions
我正在尝试使用此链接在我的笔记本电脑上设置hadoop0.22.0以用于学习目的http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/当我运行脚本start-dfs.sh时，这是输出startingnamenode,loggingto/usr/local/hadoop/bin/../logs/hadoop-raunak-namenode-ubuntu.outlocalhost:startingdatanode,loggingto/usr/local/hadoop/
我想知道如何使用密码保护在端口50030、50070等上运行的HadoopWebUI。 最佳答案 我认为最好的办法是关闭防火墙中的端口，让用户使用SSH隧道连接。 关于hadoop-如何使用密码保护HadoopNameNode和JobTrackerWebUI？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/5054687/
当我启动Hadoop时，除了JobTracker以外的所有东西都会启动(tasktracker、namenode、datanode、secondarynamenode)。在JobTracker日志中，它告诉我连接到主机的端口50030时出现问题，即使我在mapred-site.xml中的端口54311定义了mapred.job.tracker。我在这里误解了什么吗？为什么它一开始就尝试连接到端口50030？此外，出于某种原因，它试图绑定(bind)到一个地址，该地址是主机名和主机ip的串联，后跟端口号50030。这正常吗？...老实说，我不是100%确定我真的理解日志中的错误消息，所以
我使用hadoop0.20.0在4个节点的集群上运行一个程序。但是，当我查看jobtracker:50030时，发现hadoopjobtrcker显示reducer进度条无法达到100%，但是jobs已经成功完成。截图如下。我真的很好奇为什么会这样。但是，我的工作已成功完成。 最佳答案 这看起来像是获取进度报告的jobtracker中的错误。然而，由于Hadoop0.20.0于2009年发布并且有quiteafewreleasessincethen-这是一个有争议的问题 关于hadoop
我在我们的hadoopjobtracker日志中看到了很多这样的错误，任何人都可以对此有所了解吗？集群是CDH4.2，带有单个jobtracker和MRV1。这是错误:2014-05-1322:43:40,987INFOorg.apache.hadoop.mapred.TaskInProgress:Errorfromattempt_201405081738_82268_m_000016_0:Errorinitializingattempt_201405081738_82268_m_000016_0:org.apache.hadoop.util.DiskChecker$DiskError
