我有一个关于hadoop复制的问题。我使用下面提到的命令更改了hadoop中特定目录中文件的复制因子:hadoopdfs-setrep-R3-w/data/routing成功并将该目录中所有文件的复制因子设置为3。但是，在此目录下写入的任何新文件继续具有默认复制因子，即2。是否有任何选项可以使此更改持久化？实际上，我只希望在此目录下写入的所有新文件始终具有3的复制因子，而不管默认复制因子是什么。 最佳答案 如果您想要默认复制因子以外的东西，则需要在创建文件时明确设置复制因子。目录下的文件是通过mapreduce作业创建的，还是使用其

我是Hadoop的新手，我想了解我们如何确定任何给定集群的最高复制因子。我知道默认设置是3个副本，但如果我有一个包含5个节点的集群，那么在这种情况下我可以使用的最高复制因子是多少。是否有我们必须遵循的公式来确定复制因子？谢谢 最佳答案 您可以使用的最高复制因子是集群中节点数的函数(正如@Tarik所说，您的副本数量不能超过集群中的节点数)、您的预期使用量(您计划使用多少数据存储)和集群的存储容量。这个其他SOquestion对容量和存储使用进行了一些计算。 关于hadoop-复制因子，我

我不是在询问如何在hadoop中为文件夹/文件设置复制因子。我知道以下命令对现有文件和文件夹完美无缺。hadoopfs-setrep-R-w3我在问，如何设置复制因子，而不是默认值(在我的场景中是4)，同时从本地复制数据。我正在运行以下命令，hadoopfs-copyFromLocal当我运行上面的命令时，它将数据从src复制到dest路径，复制因子为4。但我想将复制因子设为1在复制数据时但不在复制完成后。基本上我想要这样的东西，hadoopfs-setrep-R1-copyFromLocal我试过了，没用。那么，可以做到吗？或者我先用复制因子4复制数据，然后运行​​setrep命令？

如果这个问题较早出现，请原谅，因为我找不到任何相关的问题。1)我想知道为什么在集群中的数据节点和名称节点之间保持相同的复制因子(或任何配置)很重要？2)当我们上传任何文件到HDFS时，管理存储的不就是namenode吗？3)仅在名称节点上维护配置是否足够？4)在名称节点和数据节点之间配置不同的含义是什么？非常感谢任何帮助。谢谢!:) 最佳答案 我将尝试以复制为例来回答你的问题。需要记住的几件事-数据总是驻留在数据节点上，Namenode从不处理数据或存储数据，它只保留有关数据的元数据。复制因子是可配置的，您可以为每个文件副本更改它，

作为一些背景，我们有2个集群，目前用于生产和开发。作为其中的一部分，我们正在将文件(使用hadoopdistcp-update)从生产集群复制到开发集群，这些文件是由实时进程生成的(即它也有效地作为DR集群)。两个集群上的Hadoop版本相同:Hadoop2.6.0-cdh5.12.1然而，开发集群的存储容量只有实时集群的65%左右。为了解决这个问题，我们将默认复制因子设置为3用于实时，2用于开发。我注意到从实时复制到开发的文件的复制因子为3。我读了一些书，认为这应该是它的行为方式，即使这不是我想要的它的行为。我有两个问题:一些研究表明，-setrep可用于复制后，但-Ddfs.rep

将HDFS复制因子降低到2(或仅一个)对HBase映射/降低性能有何影响？我有一个托管在AzureVM上的HBase集群，数据存储在azure托管磁盘中。Azure托管磁盘本身保留了3个数据副本用于容错，因此考虑降低HDFS复制因子以节省存储开销。考虑到mapreduce作业利用数据的本地可用性来避免通过网络传输数据，想知道如果只有一个数据副本可用，是否有人知道任何关于mapreduce性能影响的信息？ 最佳答案 这是一个很难回答的问题，因为它在很大程度上取决于您运行的工作负载。通过降低复制因子，您可以加快写入操作的性能，因为数据写

在多节点集群中，我们可以将hadoopblock复制因子设置为0吗？这可能吗？如果可能，那么会发生什么？另外，如果我们在单伪模式集群中将hadoopblock复制因子设置为0会发生什么情况？ 最佳答案 在单节点和多节点配置中，您不能将文件的复制因子设置为零。执行将失败并出现以下错误。replicationmustbe>=1当我们遇到这个错误时:要改变HDFS文件的复制因子，我们需要使用命令hadoopfs-setreppath,如果你在前面的命令中使用0作为复制因子，你会得到这个错误。您不能使用配置xml文件更改HDFS中文件的复制

我的理解是dfs.replication提供了HDFS维护的复制数量，在core-default.xml中，我看到“file.replication”以及“s3.replication”、“ftp.replication”和“s3native.replication"，能否请您提供有关这些变量重要性的任何输入 最佳答案 Hadoop支持不同的文件系统实现，所有这些属性定义了用于其相应文件系统的复制因子。------------------------------------------------------------------

我需要将我的Spark程序的HDFS复制因子从3更改为1。在搜索时，我想到了“spark.hadoop.dfs.replication”属性，但是通过查看https://spark.apache.org/docs/latest/configuration.html，它似乎不存在了。那么，如何从我的Spark程序或使用spark-submit更改hdfs复制因子？ 最佳答案 您应该使用spark.hadoop.dfs.replication在您的spark应用程序中设置HDFS中的复制因子。但是为什么在https://spark.ap

我已经为我的文件设置了复制因子，如下所示:hadoopfs-Ddfs.replication=5-copyFromLocalfile.txt/user/xxxx当NameNode重新启动时，它会确保复制不足的block被复制。因此，文件的复制信息被存储(可能在nameNode中)。我怎样才能得到这些信息？ 最佳答案 尝试使用命令hadoopfs-stat%r/path/to/file，它应该打印复制因子。 关于hadoop-如何检索Hdfs文件中的复制因子信息？，我们在StackOver