我正在尝试以编程方式与 Kerberized (CDH 5.3/HDFS 2.5.0) 的 Hadoop 集群进行通信。

我在客户端有一个有效的 Kerberos token 。但是我收到如下错误，“客户端和服务器之间没有公共(public)保护层”。

这个错误是什么意思，有什么方法可以修复或解决它吗？

这与 HDFS-5688 有关吗？ ？该票似乎暗示必须设置属性“hadoop.rpc.protection”，大概是“身份验证”(也根据例如 this )。

这是否需要在集群中的所有服务器上设置，然后集群反弹？我无法轻松访问集群，因此我需要了解“hadoop.rpc.protection”是否是真正的原因。看起来 'authentication' 应该是默认使用的值，至少根据 core-default.xml 文档。

java.io.IOException:本地异常失败:java.io.IOException:无法为 principal1/server1.acme.net@xxx.acme.net 设置连接到 server2.acme.net/10.XX。 XXX.XXX:8020;主机详细信息:本地主机是:“some-host.acme.net/168.XX.XXX.XX”；目标主机是:“server2.acme.net”:8020;

    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:764)

    at org.apache.hadoop.ipc.Client.call(Client.java:1415)

    at org.apache.hadoop.ipc.Client.call(Client.java:1364)

    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)

    at com.sun.proxy.$Proxy24.getFileInfo(Unknown Source)

    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

    at java.lang.reflect.Method.invoke(Method.java:498)

    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)

    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)

    at com.sun.proxy.$Proxy24.getFileInfo(Unknown Source)

    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo(ClientNamenodeProtocolTranslatorPB.java:707)

    at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:1785)

    at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1068)

    at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1064)

    at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)

    at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1064)

    at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1398)

    ... 11 more

引起:java.io.IOException:无法为 principal1/server1.acme.net@xxx.acme.net 设置到 server2.acme.net/10.XX.XXX.XXX:8020 的连接；

    at org.apache.hadoop.ipc.Client$Connection$1.run(Client.java:671)

    at java.security.AccessController.doPrivileged(Native Method)

    at javax.security.auth.Subject.doAs(Subject.java:422)

    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)

    at org.apache.hadoop.ipc.Client$Connection.handleSaslConnectionFailure(Client.java:642)

    at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:725)

    at org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:367)

    at org.apache.hadoop.ipc.Client.getConnection(Client.java:1463)

    at org.apache.hadoop.ipc.Client.call(Client.java:1382)

    ... 31 more

引起:javax.security.sasl.SaslException:客户端和服务器之间没有共同的保护层

    at com.sun.security.sasl.gsskerb.GssKrb5Client.doFinalHandshake(GssKrb5Client.java:251)

    at com.sun.security.sasl.gsskerb.GssKrb5Client.evaluateChallenge(GssKrb5Client.java:186)

    at org.apache.hadoop.security.SaslRpcClient.saslEvaluateToken(SaslRpcClient.java:483)

    at org.apache.hadoop.security.SaslRpcClient.saslConnect(SaslRpcClient.java:427)

    at org.apache.hadoop.ipc.Client$Connection.setupSaslConnection(Client.java:552)

    at org.apache.hadoop.ipc.Client$Connection.access$1800(Client.java:367)

    at org.apache.hadoop.ipc.Client$Connection$2.run(Client.java:717)

    at org.apache.hadoop.ipc.Client$Connection$2.run(Client.java:713)

    at java.security.AccessController.doPrivileged(Native Method)

    at javax.security.auth.Subject.doAs(Subject.java:422)

    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)

    at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:712)

    ... 34 more

最佳答案

要修复来自 SASL 的“客户端和服务器之间没有通用保护”错误，我需要将“hadoop.rpc.protection”设置为与集群中服务器端设置的值相同的值。在这种情况下它恰好是“隐私”。

此外，集群配置为 HA，因此我必须选择正确的主机名以在 HDFS URI(“fs.defaultFS”)和“dfs.namenode.kerberos.principal”属性中使用:

Configuration config = new Configuration();
config.set("fs.defaultFS", "hdfs://host1.acme.com:8020");
config.set("hadoop.security.authentication", "kerberos");
config.set("hadoop.rpc.protection", "privacy");
// Need this or we get the error "Server has invalid Kerberos principal":
config.set("dfs.namenode.kerberos.principal",  
    "hdfs/host1.acme.com@ACME.DYN.ROOT.NET");

关于hadoop - "No common protection layer between client and server"尝试与 Kerberized Hadoop 集群通信时，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37714669/