我是hadoop的新手，而且我手头有一个问题。有没有办法比较HDFS中两个文件之间的时间戳？非常感谢任何帮助。 最佳答案 使用FileSystem.getFileStatus(Path)获取FileStatus的方法返回对象，可以通过FileStaus.getModifiedTime()获取文件的修改时间方法FileSystemfs=FileSystem.get(conf);longts1=fs.getFileStatus(newPath("/path/to/file1")).getModifiedTime();longts2=fs
当尝试在hadoop中格式化我的namenode时，运行此命令$HADOOP_HOME/bin/hdfsnamenode-format后出现以下异常。2013-11-1213:49:48,580FATALnamenode.NameNode(NameNode.java:main(808))-Exceptioninnamenodejoinjava.io.IOException:Cannotcreatedirectory/test/dfs/name/current此问题的修复，如thislink所示和thislink,是用sudo运行命令。我在这台机器上没有root权限，也无法访问root。
我在java中运行以下程序时遇到问题(我是java的初学者)。这里的程序使用HDFS特定的URLstreamhandlerfactory来使用适当的协议(protocol)处理程序来访问HDFS。在eclipse中，它没有显示任何错误。我已将hadoop-common-2.2.0.jar放在构建路径中。packageorg.hdfs.prog;//ccURLCatDisplaysfilesfromaHadoopfilesystemonstandardoutputusinga//URLStreamHandlerimportjava.io.InputStream;importjava.ne
这里是Hadoop新手。所以我只是配置了一个单节点设置，我不确定文件应该放在哪里？!我的理解是应该在HDFS上。因此，我使用“将文件上传到DFS”向我的HDFS添加了一个文本文件“zulu.txt”(右键单击DFS；见下图)当我使用Stringinput="/user/irobot-pc/irobot/In/";我收到以下错误代码:输入路径不存在Exceptioninthread"main"org.apache.hadoop.mapreduce.lib.input.InvalidInputException:Inputpathdoesnotexist:file:/user/irobot
我只是想知道这个。假设我正在将一个80GB的文件复制到HDFS，并且我的block大小是64MB。现在在收集了一个block的数据后，名称节点将block写入数据节点。这是我的问题:名称节点以何种方式选择应将block写入哪个数据节点。是随机选择还是循环选择？ 最佳答案 NameNode会根据负载分配因子选择datanode上的block。它将以平衡所有正在运行的数据节点上的负载的方式选择block。此外，NameNode不会收集一个block的数据并将其写入数据节点。当向NameNode发送写请求时，它会分配要写入各个数据节点的b
我正在尝试在hadoop上工作，因此我使用:-Java1.6Eclipse欧罗巴3.3.2安装Cygwinhadoop0.19.1当我使用命令时发生错误:-$hadoop-*/bin/hadoopnamenode-format/home/user/hadoop-0.19.1/bin/../conf/hadoop-env.sh:line2:$'\r':commandnotfound/home/user/hadoop-0.19.1/bin/../conf/hadoop-env.sh:line7:$'\r':commandnotfound/home/user/hadoop-0.19.1/bi
使用如下所示的简单HiveQL查询:SELECTevent_typeFROM{{table}}wheredt=20140103limit10;{{table}}部分只是通过Jinja2使用的运行器代码插入。我正在使用来自python的subprocess.Popen在配置单元命令行上使用-e标志运行我的查询。出于某种原因，此设置试图写入HDFS中的常规/user目录？Sudo命令无效。产生的错误如下:JobSubmissionfailedwithexception:org.apache.hadoop.security.AccessControlException(Permissiond
我们正在map-reduce上进行POC以计算我们应用程序的模块使用情况。应用程序在位于单独盒子上的J2EE容器上运行，hadoop安装在单独的盒子上，我们需要将日志文件从应用程序容器盒子移动到hadoop盒子。下面提到的是一些需要帮助/建议的查询。有什么工具/框架可以将日志文件从多个位置移动到HDFS？什么是最佳实践？如何运行移动文件的作业？移动到HDFS应该是cron作业还是文件大小触发器？ 最佳答案 您需要ApacheFlume。Flume是一种流行的标准工具，用于将日志文件移动到HadoopHDFS中。它可以作为cron作业
我是hadoop的新手，正在关注这个link在Fedora20中安装它。这篇文章中有一个命令:runuserhdfs-s/bin/bash/bin/bash-c"hadoopfs-mkdir/user/"在这部分命令中，我们在HDFS中创建一个目录:"hadoopfs-mkdir/user/"但是我无法理解上面命令的这一部分的用途/含义是什么:runuserhdfs-s/bin/bash/bin/bash请告诉我这个命令的确切用途/含义是什么:runuserhdfs-s/bin/bash/bin/bash 最佳答案 这有点令人困惑，
我是hadoop的新手，正在尝试通过hdfs上传和下载文件。Java代码。这应该表现为数据上传:hadoopfs-putor-copyFromLocalfilenamedirectoryName和数据下载hadoopfs-getor-copyToLocalfilenamedirectoryName来自高清文件系统。我需要这个，因为数据集包含图像、音频、视频等文件。上面的命令适用于所有类型的数据，如果我尝试使用Javai/o阅读器代码，它适用于文本文件，但不适用于图像、视频。docx等..请在这里帮忙。在此处编辑:publicstaticvoidmain(String[]args)thr
