我是 Hadoop 的新手，在尝试在我的 Windows 7 机器上运行它时遇到了问题。我特别感兴趣的是运行 Hadoop 2.1.0 作为其 release notes提到支持在 Windows 上运行。我知道我可以尝试使用 Cygwin 在 Windows 上运行 1.x 版本，甚至可以使用 Cloudera 等准备好的 VM，但由于某些原因，这些选项对我来说不太方便。

检查了来自 http://apache-mirror.rbc.ru/pub/apache/hadoop/common/hadoop-2.1.0-beta/ 的压缩包我发现确实有一些 *.cmd 脚本可以在没有 Cygwin 的情况下运行。当我格式化 HDFS 分区时一切正常但是当我尝试运行 hdfs namenode 守护进程时我遇到了两个错误:首先，非 fatal error 是找不到 winutils.exe(它确实不存在于下载的 tarball 中)。我在 Apache Hadoop 源代码树中找到了该组件的源代码，并使用 Microsoft SDK 和 MSbuild 对其进行了编译。由于详细的错误消息，很清楚将可执行文件放在哪里以满足 Hadoop。但是第二个 fatal error 没有包含足够的信息让我解决:

13/09/05 10:20:09 FATAL namenode.NameNode: Exception in namenode join
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
    at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method)
    at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:423)
    at org.apache.hadoop.fs.FileUtil.canWrite(FileUtil.java:952)
    at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.analyzeStorage(Storage.java:451)
    at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverStorageDirs(FSImage.java:282)
    at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:200)
...
13/09/05 10:20:09 INFO util.ExitUtil: Exiting with status 1

看起来应该编译其他东西。我将尝试使用 Maven 从源代码构建 Hadoop，但没有更简单的方法吗？难道没有一些我不知道的选项可以禁用 native 代码并使 tarball 在 Windows 上可用吗？

谢谢。

已更新。确实是的。 “Homebrew”包包含一些额外的文件，最重要的是 winutils.exe 和 hadoop.dll。有了这个文件，namenode 和 datanode 就成功启动了。我认为这个问题可以关闭。我没有删除它，以防有人遇到同样的困难。

已更新 2. 为了构建“自制软件”包，我执行了以下操作:

1. 获取源代码并将其解压。
2. 仔细阅读 BUILDING.txt。
3. 已安装的依赖项:
   3a) Windows SDK 7.1
   3b) Maven (我用的是 3.0.5) 3c) JDK (我用的是1.7.25)
   3d) ProtocolBuffer(我使用 2.5.0 - http://protobuf.googlecode.com/files/protoc-2.5.0-win32.zip )。只需将编译器(protoc.exe)放入某些 PATH 文件夹即可。
   3e) 一套UNIX命令行工具(我安装的是Cygwin)
4. 启动了 Windows SDK 的命令行。开始|所有程序 |微软Windows SDK v7.1 | ... 命令提示符(我修改了这个快捷方式，在命令行中添加选项/release 以构建 native 代码的发布版本)。所有后续步骤都在 SDK 命令行窗口中进行)

5. 搭建环境:

   设置 JAVA_HOME={path_to_JDK_root}

似乎 JAVA_HOME 不能 包含空格!

set PATH={path_to_maven_bin};%PATH%  
set Platform=x64  
set PATH={path_to_cygwin_bin};%PATH%  
set PATH={path_to_protoc.exe};%PATH%  

1. 将目录更改为源根文件夹(BUILDING.txt 警告路径长度有一些限制，因此源根应该有短名称 - 我使用 D:\hds)

2. 运行构建过程:

   mvn package -Pdist -DskipTests

您可以尝试不使用“skipTests”，但在我的机器上一些测试失败并且构建被终止。它可能与 BUILDING .txt 中提到的符号链接(symbolic link)问题有关。 8. 在 hadoop-dist\target\hadoop-2.1.0-beta 中选择结果(windows 可执行文件和 dll 在'bin'文件夹中)

最佳答案

我已按照以下步骤安装 Hadoop 2.2.0

为 Windows 构建 Hadoop bin 分发的步骤

1. 下载并安装 Microsoft Windows SDK v7.1。

2. 下载并安装 Unix 命令行工具 Cygwin。

3. 下载并安装 Maven 3.1.1。

4. 下载 Protocol Buffers 2.5.0 并解压缩到一个文件夹(比如 c:\protobuf)。

5. 添加环境变量 JAVA_HOME、M2_HOME 和平台(如果尚未添加)。 注意:变量名称 Platform 区分大小写。对于在 64 位或 32 位系统上构建，值将是 x64 或 Win32。 编辑 Path Variable 添加 Cygwin 的 bin 目录(如 C:\cygwin64\bin)、Maven 的 bin 目录(如 C:\maven\bin)和 Protocol Buffers 安装路径(如 c:\protobuf)

6. 下载 hadoop-2.2.0-src.tar.gz 并解压缩到具有短路径的文件夹(例如 c:\hdfs)，以避免由于 Windows 中的最大路径长度限制而导致的运行时问题。

7. 选择开始 --> 所有程序 --> Microsoft Windows SDK v7.1 并打开 Windows SDK 7.1 命令提示符。将目录更改为 Hadoop 源代码文件夹 (c:\hdfs)。使用选项 -Pdist,native-win -DskipTests -Dtar 执行 mvn package 以创建 Windows 二进制 tar 分发。

8. 如果上一步一切顺利，那么 native 分发 hadoop-2.2.0.tar.gz 将在 C:\hdfs\hadoop-dist\target\hadoop-2.2.0 目录中创建。

安装 Hadoop

1. 将 hadoop-2.2.0.tar.gz 解压到一个文件夹(比如 c:\hadoop)。

2. 添加环境变量 HADOOP_HOME 并编辑 Path 变量以添加 HADOOP_HOME 的 bin 目录(例如 C:\hadoop\bin)。

配置 Hadoop

C:\hadoop\etc\hadoop\core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

C:\hadoop\etc\hadoop\hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/hadoop/data/dfs/namenode</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/hadoop/data/dfs/datanode</value>
        </property>
</configuration>

C:\hadoop\etc\hadoop\mapred-site.xml

<configuration>
        <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
        </property>
</configuration>

C:\hadoop\etc\hadoop\yarn-site.xml

<configuration>
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
        <property>
           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
           <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
</configuration>

格式化namenode

只是第一次，需要格式化namenode。

C:\Users\abhijitg>cd c:\hadoop\bin 
c:\hadoop\bin>hdfs namenode –format

启动HDFS(Namenode和Datanode)

C:\Users\abhijitg>cd c:\hadoop\sbin
c:\hadoop\sbin>start-dfs

启动 MapReduce aka YARN(资源管理器和节点管理器)

C:\Users\abhijitg>cd c:\hadoop\sbin
c:\hadoop\sbin>start-yarn
starting yarn daemons

将自动打开总共四个独立的命令提示符窗口以运行Namenode、Datanode、Resource Manager、Node Manager

引用:Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS

关于windows - 在 Windows 上运行 Apache Hadoop 2.1.0，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18630019/