我是hadoop的新手，想更好地了解复制在HDFS中的工作原理。假设我有一个10节点系统(每个节点1TB)，总容量为10TB。如果我的复制因子是3，那么每个文件有1个原始副本和3个副本。所以，本质上，我的存储空间中只有25%是原始数据。所以我的10TB集群实际上只有2.5TB的原始(未复制)数据。请让我知道我的思路是否正确。 最佳答案 你的想法有点不对。复制因子3表示您有3个总数据副本。更具体地说，您的文件的每个block将有3个副本，因此如果您的文件由10个block组成，则在您的10个节点中总共有30个block，或者每个节点大
我想编写一个脚本或类似.xml文件的文件，它明确定义Hadoop集群中的数据节点以存储特定的文件block。例如:假设有4个从节点和1个主节点(hadoop集群中共有5个节点)。有两个文件file01(size=120MB)和file02(size=160MB)。默认block大小=64MB现在我想将file01的两个block中的一个存储在从属节点1中，另一个存储在从属节点2中。类似地，file02的三个block之一在从节点1，第二个在从节点3，第三个在从节点4。所以，我的问题是我该怎么做？其实有一种方法:每次在conf/slaves文件中进行修改，来存储一个文件。但我不想这样做那
我写了一个简单的程序，将数据放入HDFS。我通过Configuration对象将dfs.replication设置为3，并针对伪分布式hdfs集群运行该程序。我希望得到一个异常，因为复制因子是3并且只有一个数据节点；但是程序成功地完成了执行。这是了解我的数据处于复制不足状态的一种方式吗？我认为这与dfs.replication.min有关，但是当我也将其更改为3时(在程序配置对象中)，写入仍然成功并且我没有得到任何异常。 最佳答案 我已经完成了一些测试并找到了原因。首先，当您创建文件时，其复制因子必须高于或等于dfs.replica
我目前正在虚拟机(来自cloudera的CDH4.1.3图像)中“玩弄”Hadoop。我想知道的是以下内容(文档在这方面并没有真正帮助我)。按照教程，我会先格式化一个NameNode-好的，如果使用cloudera图像，这已经完成了。同样，HDFS文件结构已经存在。在hdfs-site.xml中，datanode数据目录设置为:/var/lib/hadoop-hdfs/cache/${user.name}/dfs/data这显然是在真正的分布式设置中应该将block复制到的位置。在cloudera教程中，有人被告知为每个用户创建hdfs“主目录”(/users/)，我不明白它们的用途。
当我尝试使用无效URL连接到HDFS时，我收到以下形式的消息:Retryingconnecttoserver:/.Alreadytriedtime(s);maxRetries=45Hadoop配置中的哪个属性控制maxRetries？还有没有一种简单的方法可以找到这些属性(而不是尝试谷歌搜索)？ 最佳答案 我看到你找到了答案。只是要补充一点，最直接的学习方法可能是阅读Hadoopdocs.在此页面底部(当前)有一个名为“配置”的部分，其中还列出了这些文件和可用选项。 关于hadoop-连
如何枚举HDFS目录中的文件？这是为了使用Scala枚举ApacheSpark集群中的文件。我看到有sc.textfile()选项，但它也会读取内容。我只想读取文件名。我实际上尝试了listStatus。但是没有用。得到以下错误。我正在使用AzureHDInsightSpark，Blob存储文件夹“testContainer@testhdi.blob.core.windows.net/example/”包含.json文件。valfs=FileSystem.get(newConfiguration())valstatus=fs.listStatus(newPath("wasb://tes
是否可以使用webhdfs检查HDFS目录的内容？这将像hdfsdfs-ls通常那样工作，但使用webhdfs。如何使用Python2.6列出webhdfs目录？ 最佳答案 您可以使用LISTSTATUS动词。文档位于ListaDirectory，下面的代码可以在WebHDFSRESTAPI上找到文档:使用curl，它看起来像这样:curl-i"http://:/webhdfs/v1/?op=LISTSTATUS"响应是FileStatusesJSON对象:{"name":"FileStatuses","properties":{"
我知道cloudera处于为hadoop/hbase/hdfs提供商业支持的最前沿。还有其他供应商提供此服务吗？-清美 最佳答案 Cloudera为hadoop和hbase提供商业支持。还有其他供应商，例如提供工具的Karmasphere。没有其他人提供像Cloudera这样规模的hadoop支持。更新:Hortonworks，雅虎的hadoop衍生产品也进入了这个领域。 关于hadoop-对hbase/hdfs的商业支持，我们在StackOverflow上找到一个类似的问题：
我正在将大量数据存储到hdfs中。我需要将文件从一个文件夹移动到另一个文件夹。请问文件系统重命名方法的成本一般是多少？假设我必须移动数TB的数据。非常感谢。 最佳答案 如果正确实现，在HDFS或任何文件系统中移动文件涉及更改namespace而不是移动实际数据。浏览代码仅完成名称节点中namespace(内存和编辑日志)的更改。来自NameNode.java类NameNode控制两个关键表:1)文件名->block序列(命名空间)2)block->machinelist("inodes")只需要修改第一部分，不需要修改机器列表的bl
我正在写信给hadoophdfs。该文件必须使用lzo压缩。此外，该文件将实时附加。源文件是hadoop中不存在的gzip文件。批处理这个gzip文件，然后进行lzo压缩并附加到hadoop。这是否消除了使用mapreduce的可能性？我们怎样才能做到这一点？在此先感谢您的帮助 最佳答案 您可以从自定义Java代码直接写入HDFS:publicclassHdfsWriteextendsConfiguredimplementsTool{publicintrun(String[]arg0)throwsException{//create
