我有一个spark应用程序，它从Kafka读取数据并将数据写入HDFS。我的应用程序在几分钟内工作正常，但一段时间后它开始出现以下错误并失败。2018-01-0217:59:20LeaseRenewer:username@nameservicename[WARN]UserGroupInformation-PriviledgedActionExceptionas:username@REALM_NAME(auth:KERBEROS)cause:javax.security.sasl.SaslException:GSSinitiatefailed[CausedbyGSSException:N

我设置了一个运行良好的HAHadoop集群。但是添加Kerberos认证后datanode无法连接namenode。验证Namenode服务器成功启动并且没有记录错误。我用用户'hduser'启动所有服务$sudonetstat-tuplen...tcp0010.28.94.150:80190.0.0.0:*LISTEN1001202181518/javatcp0010.28.94.150:500700.0.0.0:*LISTEN1001202071447/javatcp0010.28.94.150:90000.0.0.0:*LISTEN1001202351447/java数据节点以r

我正在尝试使用以下方法在HDFS中创建文件:importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;为此，我添加了如下配置:Configurationconfiguration=newConfiguration();configuration.set("fs.hdfs.impl",org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());configur

我正在尝试从MacBookProOSX10.8.4访问ClouderaHadoop设置(HIVE+Impala)。我们在Linux服务器上安装了ClouderaCDH-4.3.0。我已将CDH-4.2.0tarball提取到我的MacBookPro。我已经设置了正确的配置和Kerberos凭据，以便像“hadoop-fs-ls/”这样的命令可以工作并且HIVEshell可以启动。但是，当我执行“显示数据库”命令时，出现以下错误:>hive>showdatabases;>Failedwithexceptionjava.io.IOException:java.io.IOException:

UserGroupInformation类有一个loginUserFromKeytab方法，该方法采用用户主体和key表文件的名称。您没有指定服务主体。我认为Kerberos需要服务主体。有人可以填补我遗漏的空白吗？ 最佳答案 据我所知，“登录”方法仅负责客户端的初始用户身份验证连接到KDC断言它是“主体”，接受质询，使用加密密码进行响应(这是key表文件中的内容)检索显示为krbtgt/REALM@REALM的ticket-grantingticket(TGT)然后每个HadoopAPI管理它们自己的授权，但在服务器端客户:在连接

我已经为Windows安装了kerberos，使用kerberos保护了hadoop-2.6.0。当提交作业或执行任何用户命令时，Hadoop从默认位置c:\users\username\krb5cc_username引用Kerberos票证缓存。我想在运行时更改这个位置。是否可以更改java的默认属性以从我系统中的某处引用票证缓存位置。已更新可以使用以下命令更改默认位置kinit-ccache_nameusername引用javakinit但是当我在hadoop上执行任何操作时，它只为用户信息采用默认的票证缓存位置。如何将默认位置更改为用户特定的缓存位置？帮助将不胜感激。

我正在尝试使用JavaClientAPI提交Oozie作业来自另一个Job的javaAction。集群正在使用Kerberos。这是我的代码://getaOozieClientforlocalOozieStringoozieUrl="http://hadooputl02.northamerica.xyz.net:11000/oozie/";AuthOozieClientwc=newAuthOozieClient(oozieUrl);wc.setDebugMode(1);//createaworkflowjobconfigurationandsettheworkflowapplicati

我在支持Kerberos的集群(Cloudera)上运行Spark作业，并希望能够为作业的任何给定运行记录用户的Kerberos身份。(注意这里不是启动job的本地linux用户身份，因为我们使用keytab文件，jaas.conf文件，调用kinit启动脚本。我们可以在启动脚本中记录一个身份，因为我们知道与key表一起传递给kinit的主体，但是能够在实际的Spark作业本身中登录会很好，这样即使一个作业是手动启动的，我们也能可靠地知道它在什么身份下运行)。一些答案​​表明如下:importjava.security.{AccessController,Principal}impor

我正在使用Java类org.apache.hadoop.security。来自Apache的authentication.server.AuthenticationFilterHadoop2.5.0作为Tomcat6Servlet前面的过滤器我们希望添加Kerberos身份验证。我正在尝试针对此过滤器编写一些测试用例以便我们更好地了解它是如何工作原理以及它的作用。为了让过滤器对用户进行身份验证，它正在读取HTTP请求的“授权”header，期望值包含“协商”我对Kerberos工作原理的理解使我相信我应该能够在创建我的时编写代码看起来像这样的HTTP请求://normallythese

此教程适用于Centos和Ubuntu，其它Linux系统一般大概率配置命令相同！一、关闭防火墙1.Centos查看防火墙状态：systemctlstatusfirewalld.service关闭防火墙：systemctlstopfirewalld.service永久关闭防火墙：systemctldisablefirewalld.service2.Ubunto查看防火墙状态：sudoufwstatus关闭防火墙：sudoufwdisable二、 安装samba服务器1. Centosyuminstall-ysamba2.Ubuntuapt-getinstall-ysamba如果安装过程中遇到正