设置一个包含3个节点的Hadoop集群。其中一个同时具有NameNode和DataNode角色，而另外两个只是DataNode。我启动了所有节点和服务，但总的来说，它显示只有一个DataNode的状态是事件的。其他节点的状态甚至没有显示。我的问题是开始和上线有什么区别？为什么其他节点根本没有状态？我猜问题是数据节点无法与名称节点通信。所以Azwaw指出，我检查了/etc/hosts文件。是这样的:127.0.0.1nnode.domainnnodelocalhost4localhost4.localdomain4::1localhostlocalhost.localdomainloca
Hadoop的NameNode在端口50070(http://localhost:50070)上有一个WebUI，它始终可以通过浏览器访问。我想通过.htaccess或httpd.conf通过基本身份验证密码保护整个目录。然而，到目前为止，我所有的努力都是徒劳的。这是我尝试过的示例:DocumentRoot/usr/hdp/2.2.0.0-2041/hadoop-hdfs/webapps/hdfsAuthUserFilepath_to_passwords_fileAuthName"PasswordProtected"AuthTypeBasicRequireuserusername或Op
我们是否需要在名称节点节点上启动节点管理器，即我不会将其设为数据节点？我将在一台机器上启动namenode和resourcemanager。由于我不会在这台机器上启动datanode，我想我也不需要启动nodemanager？感谢 最佳答案 这取决于你。您可以选择在未安装Datanode服务的节点上保留Nodemanager，在这种情况下，如果由该Nodemanager执行，数据将通过网络传输以执行任务。但是如果你想减少主节点的负载，那么你应该避免在它上面安装如此繁重的进程(Datanode和NodeManager)。在许多情况下，
我有一个正在运行的三节点hadoop集群。出于某种原因，当数据节点从站启动时，它们会识别出一个IP地址，而这个IP地址甚至不存在于我的网络中。这是我的主机名和IP映射。nodes:-hostname:hadoop-masterip:192.168.51.4-hostname:hadoop-data1ip:192.168.52.4-hostname:hadoop-data2ip:192.168.52.6正如您在下面看到的，hadoop-master节点正常启动，但在其他两个节点中，只有一个显示为Livedatanode，无论哪个显示的始终具有IP192.168.51.1，这与您一样可以看
我将Spark与HDFS和yarn结合使用，所以基本上spark在hadoop上运行。我使用yarn-client模式在集群上运行任务。默认情况下，任务在集群的数据节点上执行。但是，我也希望namenode执行一些任务，因为它一直处于空闲状态。那么，是否也可以让名称节点执行一些任务？如果是，怎么办？ 最佳答案 更具体地说，Spark任务不在数据节点上运行。当在Hadoop上运行Spark时，任务在Nodemanagers上执行，Nodemanagers是Hadoop/Yarn集群上每个从属节点上运行的hadoop/yarn集群中的执
继续提问:datablocksizeinHDFS,why64MB?我知道在分发中的所有数据节点中，HDFS中的块大小为一致/相同(大小取决于配置)。我的问题是:为什么此块大小在所有NameNode中保持一致？我问这个问题是因为，我有10个高端处理机作为DataNode，还有20个低端硬件。如果我们在这10台计算机的HDFS中保留更高块的块，它可以更快地处理吗？另外，NameNode具有元数据以标识DataNode中的块，因此机器之间块大小不一致的问题是什么？ 最佳答案 letsayIhave10higherendprocessing
在我的主节点中运行Hive查询时，我遇到了一些严重的问题。我有3个集群设置(1个名称节点，2个数据节点)。版本:Hadoop:2.7.3hive:2.1.0Java:openjdk版本“1.8.0_111”操作系统:ubuntu16.04.1环境:亚马逊EC2我已经在主节点中安装了Hive，并使用start-dfs.sh和start-yarn.sh从主节点启动了所有守护进程。我检查了主节点和从节点中的所有守护进程，都运行良好。当我连接到Hive并运行示例查询时，主节点中的所有守护进程都停止运行，但数据节点中的守护进程仍在运行。请从hadoop-hduser-datanode-namen
我试图理解Namenode，我引用了在线资料并引用了Hadoop:权威指南一书。我知道Namenode有这样的概念:“编辑日志”、“fsimage”，我可以在我的Namenode中看到以下文件。======================================================================-rw-rw-r--1vevaan24vevaan241048576Nov2322:53edits_0000000000000000001-0000000000000000001-rw-r--r--1rootroot1048576Nov2323:42edit
我目前对Hadoop生态系统和HDFS架构有一些初学者的理解。我想了解有关HDFS的以下一些更深层次的方面:有没有一种方法可以连接到NameNode执行以识别正在从HDFS添加/修改/删除的文件-类似于Windows中的文件系统事件？我可以编写插件来通过执行NameNode和DataNode中存在的自定义处理来扩展功能吗？数据节点通常会发回所有已在它们之间复制的block的block报告。有没有办法扩展此数据block报告以添加自定义字段或属性？任何针对上述问题的指示都会很棒。在此先感谢您的帮助 最佳答案 IsthereawayIc
在HDFS的情况下，写入如何在名称节点中更新元数据。一旦客户端将数据写入数据节点。数据节点或HDFS客户端将更新名称节点中的元数据。 最佳答案 名称节点中的元数据始终由namenode更新服务。 关于hadoop-谁来更新Hadoop中Namenode中的元数据？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/41851281/
