假设我有一个包含多个机架的HDFS集群(v2.0.5)，但它最初没有设置机架感知。已使用默认的3x复制将数据加载到其中。如果我现在将HDFS配置为机架感知，一个block的三个副本很可能位于同一机架上，这不是我想要的。如果我的集群已经平衡，运行HDFS平衡器是否会强制执行block复制策略并适本地随机排列block，即一个机架上有一个block，另一个机架上有两个block？从我读到的内容来看，如果集群是平衡的，它似乎会简单地退出进程。如果没有，我如何强制HDFS将所需的block重新复制到单独的机架？ 最佳答案 如果您更改机架配置
我正在尝试使用配置单元序列化和反序列化查询将数据从HDFS加载到配置单元数据仓库中，但从表中检索结果为空输出。谁能帮帮我？hive>createtablestations(usafstring,wbanstring,namestring)>rowformatserde'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'>withSERDEPROPERTIES(>"input.regex"="(\\d{6})(\\d{5})(.{29}).*">);hive>loaddatainpath'/user/cloudera/input-new/n
我将数据以.tsv格式存入HFDS。我需要将它们加载到Hive表中。我需要一些帮助。HDFS中的数据是这样的:/ad_data/raw/reg_logs/utc_date=2014-06-11/utc_hour=03注意:数据每天和每小时加载到HDFS目录/ad_data/raw/reg_logs。此HDFS目录中有3个.tsv文件:funel1.tsvfunel2.tsvfunel3.tsv每个.tsv文件都有3列，由制表符分隔，数据如下:2344-392232344-234432394-43982377-1233......我想创建一个包含3列idint、region_codein
我对Hadoop非常陌生，在过去的几天里，我一直在努力掌握它。我一直在阅读TomWhite的“Hadoop:权威指南”并浏览HortonWorks上的各种教程。我还在本地VM上设置了一个沙盒来玩。基本上我们将在系统上有一个目录，文件将被转储到该目录。每当一个文件被放置在这个目录中时，它应该被远程移动/复制到我们的HDFS中。这听起来应该是一个常见的用例，但我似乎找不到关于此类事情的太多信息。我简要地研究了Oozie和Falcon，因为它们似乎是工作流工具/管理系统。但我真的找不到能做我想做的事情。我宁愿使用内置于Hadoop或通常配置的东西，然后使用我自己的文件观察器或服务来完成它。我
我正在从Hadoop1.0迁移到支持YARN的集群。在1.0中运行临时作业时，我们过去常常根据作业跟踪器中报告的可用性指定reducer的数量，以加快处理速度。现在，在YARN的“所有应用程序”Web链接中，我们看不到任何此类有关可用性的列/信息。是否有任何配置文件或在网络链接中我们可以获得此信息？ 最佳答案 Yarn中没有更多的插槽。相反，一切都取决于使用/需求的内存量。您可以配置yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores来控制任
我在hdfs中有以下文件hdfs://localhost.localdomain:8020/user/cloudera/direccionbikes.out我在node.js中写了一个进程，我需要删除这个文件。我使用apiwebhdfs。我在这个程序中使用了createReadStream和createWriteStream。但是我不知道如何从node.js中删除这个文件我在哪里可以看到关于这个问题的信息(webhdfs) 最佳答案 您可以在此处阅读有关API的信息-https://hadoop.apache.org/docs/r1
在HDFSFederation中，我了解到每个拥有一个namespace的namenode都需要一个namenode作为standbynamenode。这意味着如果我有10个名称节点，那么我应该有10个备用名称节点。是否有可能有一个额外的名称节点作为所有名称节点的备用名称节点，以便如果其中一个名称节点出现故障，那么备用名称节点将成为事件名称节点，就像在RAID5中使用的一个额外硬盘的情况一样 最佳答案 不，这是不可能的，因为HDFS联合中的每个名称节点都将具有单独的namespace，并且每个namespace都需要单独且单独的备用
我正在使用clouderaCDH5，并且需要使用flume将数据从大型机文件提取到hadoophdfs。有人可以帮助我需要注意哪些步骤.. 最佳答案 您确定需要Flume吗？Sqoop1.4.5现在有一个大型机连接器，可能更适合开箱即用。 关于hadoop-如何使用水槽从大型机文件中提取数据到hadoopHDFS，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/26626052/
我有一个所有json文件都存在的假脱机目录，传入的文件将每秒添加到此目录中，我必须反序列化传入的json文件并获取需要的字段并将其附加到HDFS目录中。我所做的是创建了一个flumeconf文件，其中将假脱机目录中的文件作为源，并使用1个Sink将json文件直接放入HDFS。我必须在Sink之前将这个json做成结构格式，然后放到HDFS中。最重要的是，它不是推特数据。而且我必须实现纯粹的Flume。我使用下面的水槽配置来完成工作:agent_slave_1.channels.fileChannel1_1.type=fileagent_slave_1.channels.fileCha
我正在尝试将大数据加载到HIVE中的动态分区表中。我一直收到这个错误。如果我在没有分区的情况下加载数据，它工作正常。如果我使用较小的数据集(带分区)，它也能正常工作。但是对于大型数据集，我开始收到此错误错误:2014-11-1009:28:01,112ERRORorg.apache.hadoop.hdfs.DFSClient:Failedtoclosefile/tmp/hive-username/hive_2014-11-10_09-25-26_785_2042278847834453465/_task_tmp.-ext-10002/pseudo_element_id=NN%09/_t
