我在安装在windows10上的vmware中的Ubuntu上安装了伪分布式独立hadoop版本。我从网上下载了一个文件，复制到ubuntu本地目录/lab/data我在ubuntu中创建了名为namenodep和datan1的namenode和datanode文件夹(不是hadoop文件夹)。我还在hdfs中创建了一个文件夹作为/input。当我将文件从ubuntu本地复制到hdfs时，为什么该文件存在于以下两个目录中？$hadoopfs-copyFromLocal/lab/data/Civil_List_2014.csv/input$hadoopfs-ls/input/input/

我将Windows8与cloudera-quickstart-vm-5.4.2-0虚拟机一起使用。我下载了一个文本文件words.txt到下载文件夹中。我将目录更改为下载并使用hadoopfs-copyFromLocalwords.txt我收到没有这样的文件或目录错误。谁能向我解释为什么会这样/如何解决这个问题？这是终端的屏幕截图:有人告诉我当Hadoop处于安全模式时会出现此错误，但我已确保安全模式已关闭。 最佳答案 这是因为hdfs:///user/cloudera不存在。运行hdfsdfs-ls可能会出现类似的错误。如果没有指

如果我使用hadoopfs-put文件名将大小为117MB的文本文件上传到HDFS，我可以看到一个数据节点包含一个大小为64.98MB(默认文件拆分大小)的文件部分，另一个数据节点包含一个大小为64.98MB的文件部分48.59MB。我的问题是这个拆分位置是否是以数据感知方式计算的(例如以某种方式识别文件是文本并因此在“\n”处拆分文件)。我意识到InputFileFormat可用于告诉正在运行的作业如何以智能方式拆分文件，但由于我没有在fs-put命令中指定文件类型，我想知道是否(以及如何)在这种情况下将进行智能拆分。艾莉 最佳答案

我是Java、Hadoop等方面的新手。尝试将文件复制到HDFS时遇到问题。它说:“-copyFromLocal:java.net.UnknownHostException:quickstart.cloudera(...)”我该如何解决这个问题？这是一个练习。您可以在下面的图像中看到问题。ImagewiththeproblemImage2withtheerror非常感谢。 最佳答案 如错误所述，您需要提供HDFS文件夹路径作为目标。所以代码应该是这样的:hadoopfs-copyFromLocalwords.txt/HDFS/Fol

我尝试使用以下命令将一个文件从我的本地系统复制到hdfs(单节点集群):hadoopfs-copyFromLocal/home/hduser/TestEmp.txt/test它给我这样的信息:WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicablecopyFromLocal:file/test/TestEmp.txt.COPYINGonclient127.0.0.1.但是当我检查/test时，我在那里没有找到任何东

我不是在询问如何在hadoop中为文件夹/文件设置复制因子。我知道以下命令对现有文件和文件夹完美无缺。hadoopfs-setrep-R-w3我在问，如何设置复制因子，而不是默认值(在我的场景中是4)，同时从本地复制数据。我正在运行以下命令，hadoopfs-copyFromLocal当我运行上面的命令时，它将数据从src复制到dest路径，复制因子为4。但我想将复制因子设为1在复制数据时但不在复制完成后。基本上我想要这样的东西，hadoopfs-setrep-R1-copyFromLocal我试过了，没用。那么，可以做到吗？或者我先用复制因子4复制数据，然后运行​​setrep命令？

我正在尝试将包含1,048,578个文件的目录复制到hdfs文件系统中，但是出现以下错误:Exceptioninthread"main"java.lang.OutOfMemoryError:Javaheapspaceatjava.util.Arrays.copyOf(Arrays.java:2367)atjava.lang.AbstractStringBuilder.expandCapacity(AbstractStringBuilder.java:130)atjava.lang.AbstractStringBuilder.ensureCapacityInternal(Abstract

我对Hadoop分布式文件系统的设置方式以及我的特定设置如何影响它感到有点困惑。我使用本指南进行设置http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/在VirtualBox上使用两个虚拟机并运行示例(只是一个简单的带有txt文件输入的字数统计)。到目前为止，我知道数据节点管理和检索其节点上的文件，而任务跟踪器分析数据。1)当您使用命令-copyFromLocal时，您是否正在将文件/输入复制到HDFS？Hadoop是否知道如何在slaves/master之间划分

我将一个10Gig文件从本地文件系统复制到hdfs(通过使用-copyFromLocal)，它是分布在所有数据节点之间还是仅在名称节点上？我如何确定它已分发到所有数据节点上？ 最佳答案 众所周知，文件的元数据存储在Namenode上，实际数据存储在集群的Datanode上。如果您移动了10G文件，那么这个文件的元数据肯定会存储在Namenode上，数据将存储在Datanodes上。但是你的文件的大小远远大于block大小(通常为64MB或128MB)，那么该文件数据肯定会存储在集群的不同数据节点的许多block上(由于复制因子)。只

我只是想知道hadoop中的copyToLocal和copyFromLocal是如何工作的。他们使用MapReduce吗？我想要一个完整的架构View。谢谢。 最佳答案 此命令不使用MapReduce，它们只是递归地将内容从源路径复制到目标路径，使用本地FS的javaIO流和HDFS的hadoopIO流。 关于hadoop-copyToLocal和copyFromLocal是如何工作的，我们在StackOverflow上找到一个类似的问题： https://s