我使用 kerberos 配置了 hadoop，一切正常，我可以浏览 hdfs、提交作业等。但是 http web 身份验证失败。

我在cdh3u2中使用hadoop-0.20.2，它支持HTTP SPNEGO。

core-site.xml中HTTP认证相关配置如下:

  <!-- HTTP web-consoles Authentication -->
  <property>
    <name>hadoop.http.filter.initializers</name>
    <value>org.apache.hadoop.security.AuthenticationFilterInitializer</value>
  </property>

  <property>
    <name>hadoop.http.authentication.type</name>
    <value>kerberos</value>
  </property>

  <property>
    <name>hadoop.http.authentication.token.validity</name>
    <value>36000</value>
  </property>

  <property>
    <name>hadoop.http.authentication.signature.secret.file</name>
    <value>/home/hadoop/hadoop/conf/http-secret-file</value>
  </property>

  <property>
    <name>hadoop.http.authentication.cookie.domain</name>
    <value></value>
  </property>

  <property>
    <name>hadoop.http.authentication.simple.anonymous.allowed</name>
    <value>false</value>
  </property>

  <property>
    <name>hadoop.http.authentication.kerberos.principal</name>
    <value>HTTP/hz169-91.i.site.com@I.NETEASE.COM</value>
  </property>

  <property>
    <name>hadoop.http.authentication.kerberos.keytab</name>
    <value>/home/hadoop/hadoop/conf/http.keytab</value>
  </property>
</configuration>

启动时，http认证成功。

2011-11-15 15:43:59,106 INFO org.apache.hadoop.security.authentication.server.KerberosAuthenticationHandler: Initialized, principal [HTTP/hz169-91.i.site.com@I.NETEASE.COM] from keytab [/home/hadoop/hadoop/conf/http.keytab]

查看代码后，我发现AuthenticationFilter在doFilter期间得到了null token，所以，认证开始(代码如下)，但是在httpservletrequest中授权是null，所以，每次我重新加载我的页面时，都会出现一个日志。

2011-11-15 15:47:52,190 WARN org.apache.hadoop.security.authentication.server.KerberosAuthenticationHandler: SPNEGO starting

// org.apache.hadoop.security.authentication.server.KerberosAuthenticationHandler
public AuthenticationToken authenticate(HttpServletRequest request, final HttpServletResponse response)
    throws IOException, AuthenticationException {
    AuthenticationToken token = null;
    String authorization = request.getHeader(KerberosAuthenticator.AUTHORIZATION);
    if (authorization == null || !authorization.startsWith(KerberosAuthenticator.NEGOTIATE)) {
      response.setHeader(KerberosAuthenticator.WWW_AUTHENTICATE, KerberosAuthenticator.NEGOTIATE);
      response.setStatus(HttpServletResponse.SC_UNAUTHORIZED);
      if (authorization == null) {
        LOG.warn("SPNEGO starting");
      } else {
        LOG.warn("'" + KerberosAuthenticator.AUTHORIZATION + "' does not start with '" +
            KerberosAuthenticator.NEGOTIATE + "' :  {}", authorization);
      }

是否存在任何配置错误，或者只是我的浏览器不支持 SPNEGO。我在 Ubuntu 11.04 中使用 Chrome v16。

有没有人有线索可以帮助我解决这个问题？

谢谢。

最佳答案

首先:感谢您发布了一个关于如何为 SPNNEGO 配置 Hadoop Web 控制台的完整且有效的示例 - 我很难找到一个好的示例。

你的示例在修改配置文件的路径后对我有用(我通过从/dev/random 获取一些随机字节创建了 hadoop.http.authentication.signature.secret.file，我是假设是正确的做法，尽管我找不到任何支持该理论的文档)。

Google Chrome 确实支持 SPNNEGO from version 6.0.472 and forward .但是，在 Linux 和 OSX 上，您似乎必须向它传递一个可以启用它的服务器列表 as documented here .因此，尝试在启动 Chrome 时将 *--auth-server-whitelist="*example.com,*foobar.com,baz" 添加到 cmdline。

另一种调试方法是使用更简单的浏览器。如果您的 curl 具有 GSS-Negotiate 支持，我会推荐 curl。通过运行 curl --version

$ curl --version
curl 7.19.7 (i486-pc-linux-gnu) libcurl/7.19.7 OpenSSL/0.9.8k zlib/1.2.3.3 libidn/1.15
Protocols: tftp ftp telnet dict ldap ldaps http file https ftps 
Features: GSS-Negotiate IDN IPv6 Largefile NTLM SSL libz 

如果 GSS-Negotiate 在功能列表中，您可以使用 curl 尝试访问例如 namenode Web 控制台:

$ curl -v -u foo --negotiate http://your.namenode.tld:50070

当要求输入主机密码时，只需按回车键即可。

这应该能让您更好地了解客户端和服务器之间发生的事情。

关于使用 Kerberos 的 Hadoop Web 身份验证，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/8133256/