我想在HDFS中导航首先我查看了“根”HDFS中的目录[cloudera@localhost~]$sudo-uhdfshadoopfs-lshdfs:/Found5itemsdrwxr-xr-x-hbasehbase02015-10-1007:03hdfs:///hbasedrwxr-xr-x-solrsolr02014-06-0116:16hdfs:///solrdrwxrwxrwx-hdfssupergroup02015-10-0811:45hdfs:///tmpdrwxr-xr-x-hdfssupergroup02015-04-1308:26hdfs:///userdrwxr-x
我正在尝试使用下面的命令在hdfs中列出我的目录:ubuntu@ubuntu:~$hadoopfs-lshdfs://127.0.0.1:50075/ls:Failedonlocalexception:com.google.protobuf.InvalidProtocolBufferException:Protocolmessageend-grouptagdidnotmatchexpectedtag.;HostDetails:localhostis:"ubuntu/127.0.0.1";destinationhostis:"ubuntu":50075;这是我的/etc/hosts文件1
有没有办法删除HDFS上超过10天的文件？在Linux中我会使用:find/path/to/directory/-typef-mtime+10-name'*.txt'-execdirrm--{}\;有没有办法在HDFS上执行此操作？(根据文件创建日期进行删除) 最佳答案 解决方案1:使用多个命令由daemon12回答hdfsdfs-ls/file/Path|tr-s""|cut-d''-f6-8|grep"^[0-9]"|awk'BEGIN{MIN=14400;LAST=60*MIN;"date+%s"|getlineNOW}{cm
我正在研究Hadoop，目前正在尝试设置Hadoop2.2.0单节点。我下载了最新的发行版，解压缩了它，现在我正在尝试设置Hadoop分布式文件系统(HDFS)。现在，我正在尝试遵循可用的Hadoop说明here但我迷路了。在左侧栏中，您会看到对以下文件的引用:核心默认.xmlhdfs-default.xmlmapred-default.xmlyarn-default.xml但是这些文件是怎样的？我找到了/etc/hadoop/hdfs-site.xml，但是它是空的!我找到了/share/doc/hadoop/hadoop-project-dist/hadoop-common/cor
我知道之前有人问过这个问题，但我想不出解决方案。当我尝试运行hdfsnamenode-format时出现以下错误:Couldnotfindorloadmainclassorg.apache.hadoop.hdfs.server.namenode.NamenodeIfollowedtheinstructionsfromthiswebsitetoinstallonmycentosmachine.唯一的区别是我使用root而不是链接中提到的hadoopuser安装。Bashrc#UserspecificaliasesandfunctionsexportJAVA_HOME=/usr/lib/j
我已经尝试了stackoverflow提供的关于这个主题的所有不同解决方案，但没有帮助再次询问具体日志和详细信息感谢任何帮助我的Hadoop集群中有一个主节点和5个从节点。ubuntu用户和ubuntu组是~/Hadoop文件夹的所有者~/hadoop/hdfs/data&~/hadoop/hdfs/name文件夹都存在两个文件夹的权限都设置为755在启动脚本start-all.sh之前成功格式化namenode脚本无法启动“名称节点”这些都在主节点上运行ubuntu@master:~/hadoop/bin$jps7067TaskTracker6914JobTracker7237Jps
我最近在Hadoop中设置了LZO压缩。在HDFS中压缩文件的最简单方法是什么？我想压缩一个文件，然后删除原来的。我应该使用IdentityMapper和使用LZO压缩的IdentityReducer创建MR作业吗？ 最佳答案 对我来说，编写HadoopStreaming的开销较低压缩文件的作业。这是我运行的命令:hadoopjar$HADOOP_HOME/contrib/streaming/hadoop-streaming-0.20.2-cdh3u2.jar\-Dmapred.output.compress=true\-Dmapr
我的HDFS中有一个2GB数据。是否可以随机获取该数据。就像我们在Unix命令行中做的那样catiris2.csv|head-n50 最佳答案 本地头hadoopfs-cat/your/file|head在这里是高效的，因为cat会在head读完所有行后立即关闭流。为了得到tail，在hadoop中有一个特别有效的命令:hadoopfs-tail/your/file不幸的是，它返回数据的最后一千字节，而不是给定的行数。 关于hadoop-获取几行HDFS数据，我们在StackOverfl
我在HDFS中有以下目录结构，/analysis/alertData/logs/YEAR/MONTH/DATE/HOURS即数据以年/月/日/小时的格式存储，按小时计算。我写了一个shell脚本，我在其中传递路径直到"/analysis/alertData/logs"(thiswillvarydependingonwhatproductofdataiamhandling)然后shell脚本遍历年/月/日/小时文件夹并返回最新的路径。例如:DirectoriespresentinHDFShasfollowingstructure:/analysis/alertData/logs/2014
我有两个HDFS设置，想将一些表从HDFS1复制(而不是迁移或移动)到HDFS2。如何将数据从一个HDFS复制到另一个HDFS？是否可以通过Sqoop或其他命令行实现？ 最佳答案 DistCp(分布式副本)是一个用于在集群之间复制数据的工具。它使用MapReduce来影响其分发、错误处理和恢复以及报告。它将文件和目录列表扩展为映射任务的输入，每个映射任务将复制源列表中指定文件的一个分区。用法:$hadoopdistcp示例:$hadoopdistcphdfs://nn1:8020/file1hdfs://nn2:8020/file2
