前言:

我有一个网络应用程序的问题，该应用程序是由一名已离职的员工开发的。由于几乎没有关于可用实现的文档，我不确定从哪里获得更多关于该问题的信息，因此提出了这个问题。

我试图找到与此问题 ( Hadoop pseudo distributed mode - Datanode and tasktracker not starting) 类似的问题的解决方案。但是，由于我对 hadoop 的经验很少，所以我无法确定我需要修复什么才能让应用程序正常工作。

场景:

应用程序分为两部分:

1. 有一个运行应用程序的 Tomcat 服务器 处理用户输入并提供 map reduce 的结果 作业(localhost:8080/WebApp)。

2. localhost:50070

   有一个主 Hadoop 节点

   2.1。还有一个作业跟踪器在 localhost:8088/cluster

运行

所有应用程序都在同一台 Ubuntu 机器上运行。

这使用前雇员部署的配置正确运行。我所拥有的所有关于如何启动不同服务器的文档。对于 Hadoop 集群，它是一个名为 up.sh 的脚本。

到目前为止我做了什么:

在下一步中，我想将应用程序迁移到具有静态 IP 地址的新网络。我使用 IT 部门的数据配置了一个连接，并更改了 Tomcat 服务器的 server.xml 文件，以便可以通过新的静态 IP 地址(172.16.254.1: 8080/网络应用程序)。这是工作

我采取的下一步是更改 /etc/hosts 文件的配置，其中旧 IP 地址被列为 hadoop 集群的主服务器。

所以我改变了这个:

127.0.0.1   localhost
192.0.2.42  master

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

对此:

127.0.0.1    localhost
172.16.254.1 master

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

结果:

有了这些更改，我可以使用 up.sh 脚本启动主 Hadoop 节点，并在 localhost:50070 访问它。但是，我无法访问位于 localhost:8088/cluster 的 Hadoop 作业跟踪器。

在 WebApp 中，我可以安排 map reduce 任务，但结果不正确。缺少应由 map reduce 集群计算的重要数据。

到目前为止，我发现的唯一错误指示是 hadoop-hduser-namenode.log 文件中的以下错误消息:

2015-07-28 13:57:23,713 ERROR org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Error getting localhost name. Using 'localhost'...
java.net.UnknownHostException: ubuntu-machine: ubuntu-machine
    at java.net.InetAddress.getLocalHost(InetAddress.java:1461)
    at org.apache.hadoop.metrics2.impl.MetricsSystemImpl.getHostname(MetricsSystemImpl.java:514)
    at org.apache.hadoop.metrics2.impl.MetricsSystemImpl.configureSystem(MetricsSystemImpl.java:453)
    at org.apache.hadoop.metrics2.impl.MetricsSystemImpl.configure(MetricsSystemImpl.java:449)
    at org.apache.hadoop.metrics2.impl.MetricsSystemImpl.start(MetricsSystemImpl.java:180)
    at org.apache.hadoop.metrics2.impl.MetricsSystemImpl.init(MetricsSystemImpl.java:156)
    at org.apache.hadoop.metrics2.lib.DefaultMetricsSystem.init(DefaultMetricsSystem.java:54)
    at org.apache.hadoop.metrics2.lib.DefaultMetricsSystem.initialize(DefaultMetricsSystem.java:50)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1253)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1320)

由于调用堆栈没有提到员工开发的任何类，我认为问题出在 Hadoop/网络配置中。应用服务器的日志也没有列出任何错误。我不确定我遗漏了什么部分。

如果您需要有关配置文件内容的更多信息，请告诉我，我会为您提供信息。

最佳答案

问题出在主机名上。将 ubuntu-machine 映射添加到/etc/hosts 文件

127.0.0.1    localhost ubuntu-machine
172.16.254.1 master ubuntu-machine

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

然后还有一件事就是检查hadoop的版本。 Hadoop 最近发生了重大变化。所以有两个主要的hadoop版本可用hadoop 1.x和hadoop 2.x。变化发生在处理层。 在 hadoop 1.x 中，我们有 Jobtracker 和 Tasktracker 在 hadoop 2.x 中，我们有 Resource manager、Nodemanager 和 Application Master。 两个版本的安装步骤不同。 在命令行中键入 hadoop version 并验证您正在使用的 hadoop 版本。

如果是 1.x，那么作业跟踪器 Web UI 将在 url http://jobrackerhost:50030 中。

如果是 2.x，那么资源管理器 web UI 将在 url http://resourcemanagerhost:8088

对于启动现有服务，您不必太担心。首先修复主机名问题并尝试启动服务。如果集群中存储了一些重要数据，请不要格式化集群。如果您正在格式化集群，请同时清除数据节点目录。下面给出一次性启动所有hadoop服务的命令。

转到 HADOOP_HOME/bin

cd $HADOOP_HOME/bin
./start-all.sh

关于ubuntu - Hadoop Yarn 作业跟踪器未启动，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31677233/