我有这样一份Hadoop工作。MR只有map，没有reduce。所以设置job.setNumReduces(0)。输入文件约300+然后我运行作业，我可以看到只有1个maptask在运行。完成它大约需要1个小时。然后我检查结果，我可以在输出文件夹中看到300多个结果文件。有什么问题吗？或者这是正确的做法？我真的希望Map应该等于输入文件的数量(而不是1)。我也不知道为什么输出文件数与输入文件数相同。hadoop作业是从oozie提交的。非常感谢您的热心帮助。新松 最佳答案 当您将reducer数量设置为0时，生成的输出对应于map任
您好，我已经配置好hadoop并通过以下命令启动dfsstart_local_hdp_services但我收到以下错误已更新我在Windows上使用hadoop。使用“msi”安装请帮帮我已更新我在Startingmaster,startingregionserver中遇到错误 最佳答案 nohup是一个posix命令，因此您需要安装cygwin或运行某种不同的脚本(.cmd或.bat文件？)http://en.wikipedia.org/wiki/Nohup我倾向于安装cygwin或类似软件，基本上您需要能够模拟linux命令。您
我在服务器上安装了Hadoop1.3。还安装了Ambari，允许详细查看系统。我已经安装了Hue并且一切正常，但是我有一个只适用于非常小的数据(2Kb)的pig脚本，当我尝试将数据的大小增加到>10Kb时(我重复了数据以查看这是否是问题)它错误地说:Message:Jobfailed!Error-#offailedMapTasksexceededallowedlimit如果有人能提供帮助那就太好了。我有一种感觉，这是mapred中的一个配置，我必须更改它，但我尝试过的似乎没有做任何事情，因此我很高兴。谢谢 最佳答案 您显示的错误消息
我是hadoop的新手，而且我手头有一个问题。有没有办法比较HDFS中两个文件之间的时间戳？非常感谢任何帮助。 最佳答案 使用FileSystem.getFileStatus(Path)获取FileStatus的方法返回对象，可以通过FileStaus.getModifiedTime()获取文件的修改时间方法FileSystemfs=FileSystem.get(conf);longts1=fs.getFileStatus(newPath("/path/to/file1")).getModifiedTime();longts2=fs
我们正在从一个看起来像这样的文件中读入。100363002100341895100355361100355643我们需要做两件事:1-按右列排序2-去掉前3个结果所以它看起来像这样:100341895100355643100363002我该怎么做？ 最佳答案 1)为了获得前3个结果，最好在Mapper中将所有值写在一个键下:context.write(NullWritable.get(),value);在Reducer中，您只能获取前三个结果并跳过其他结果。2)现在你所要做的，它的排序值，请搜索“Hadoopsecondarysor
我试图找出在简单的hadoopwordcount示例中哪些步骤花费了多少时间。在此示例中，使用了3个映射和1个reducer，每个映射生成约7MB的随机数据。我有一个通过1Gb交换机连接的集群。当我查看作业详细信息时，意识到在所有maptask完成后改组需要大约7秒，这比传输这么小的数据的预期要多。这背后的原因可能是什么？谢谢 最佳答案 Hadoop使用心跳与节点通信。默认情况下，hadoop使用最小心跳间隔等于3秒。因此，hadoop会在两次心跳(大约6秒)内完成您的任务。更多详情:https://issues.apache.or
要传输文件到数据节点，hadoop使用什么协议(protocol)？SSHorhttporhttps 最佳答案 我想TCP就是您想要的答案。服务器是DataXceiverServer客户是DFSClient.基本上，他们使用JavaSocketAPI。 关于hadoop-数据节点中的文件传输-hadoop，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/19899083/
我已经配置了Hadoop集群。我有两台机器MA和MB当我使用以下代码运行mapreduce程序时hadoopjar/HDP/hadoop-1.2.0.1.3.0.0-0380/contrib/streaming/hadoop-streaming-1.2.0.1.3.0.0-0380.jar-mapper"pythonC:\Python33\mapper.py"-reducer"pythonC:\Python33\redu.py"-input"/user/XXXX/input/input.txt"-output"/user/XXXX/output/out20131112_09"where
当尝试在hadoop中格式化我的namenode时，运行此命令$HADOOP_HOME/bin/hdfsnamenode-format后出现以下异常。2013-11-1213:49:48,580FATALnamenode.NameNode(NameNode.java:main(808))-Exceptioninnamenodejoinjava.io.IOException:Cannotcreatedirectory/test/dfs/name/current此问题的修复，如thislink所示和thislink,是用sudo运行命令。我在这台机器上没有root权限，也无法访问root。
我正在寻找hadoop集群的系统测试框架。受支持的用例应包括HDFS的系统测试、mapreduce作业和hive查询。我从apache中找到了一个名为herriot的,但我不确定它是否仍在维护中。你们知道任何现有框架吗？ 最佳答案 看看1和2用于对集群进行基准测试。它有测试的代码和数据。将它们自动化应该不是什么难事。 关于hadoop-hadoop集群的系统测试自动化框架，我们在StackOverflow上找到一个类似的问题： https://stackove
