我有一些使用HDFS和Kerberos身份验证的集成测试。当我运行它们时,我得到这个异常:java.io.IOException:Failedonlocalexception:java.io.IOException:java.lang.IllegalArgumentException:Failedtospecifyserver'sKerberosprincipalname;HostDetails:localhostis:"Serbans-MacBook-Pro.local/1.2.3.4";destinationhostis:"10.0.3.33":8020;atorg.apache.
我有一个使用WebHDFS管理HDFS的工作应用程序。我需要能够在Kerberos安全集群上执行此操作。问题是,没有库或扩展来为我的应用协商票证,我只有一个基本的HTTP客户端。是否可以创建一个Java服务来处理票证交换,一旦它获得服务票证就将其传递给应用程序以用于HTTP请求?换句话说,我的应用程序会要求Java服务协商票证,它会以字符串或原始字符串的形式将服务票证返回给我的应用程序,而应用程序只会将其附加到HTTP请求?编辑:是否有像@SamsonScharfrichter为HTTPfs描述的类似的优雅解决方案?(据我所知,它不支持委托(delegate)token)EDIT2:大
我使用带有kerberoskeytab文件名userid.keytab的hadoop很长一段时间。但现在我不知道密码。无论如何从key表文件中获取密码。 最佳答案 不,你不能。您可以从key表文件中获得的唯一信息是主体名称:$ktutilktutil:read_kttest.wtkktutil:listslotKVNOPrincipal-----------------------------------------------------------------------------11hadoop_app@BLALBLABLA
我是Hive的新手,正在尝试以相对安全的方式为测试环境设置它。我想使用远程元存储,以便MR作业可以访问数据库。我似乎几乎可以正常工作,但是当拥有凭据的用户尝试创建数据库时,我得到:hive>showdatabases;OKdefaulthive>createdatabasetestdb;FAILED:Errorinmetadata:MetaException(message:Gotexception:org.apache.hadoop.ipc.RemoteExceptionUser:hdfs/hadoopserver.sub.dom.com@SUB.DOM.COMisnotallowe
我的应用程序在网络服务器上运行,但weberserver用户没有kerberos帐户..所以当启动springhadoop配置时它失败了。我确实有另一个kerberos用户有一个我可以登录的key表文件,但在我有机会这样做之前,spring已经尝试使用当前的linux用户设置配置但失败了。这就是我使用其他用户的方式UserGroupInformation.loginUserFromKeytab(userId,userKeyTabFilePath);目前我正在从WebApplicationInitializer.onStartup方法调用它,但它仍然无法为springhadoop东西(可
我正在尝试编写一个程序,使用带有Kerberos身份验证的Jdbc驱动程序连接到Hive。我的程序如下:publicstaticvoidmain(Stringa[]){...connectionString_="jdbc:hive2://cdh-542-kerberos.domain.com:10000/default;principal=hive/cdh-542-kerberos.domain.com@REALMDOMAIN";UserGroupInformationugi=createUgi();connection=ugi.doAs(newPrivilegedExceptionA
我正在尝试从NiFi的DBCP连接池连接到kerberos集群上的Phoenix。但未能创建JDBC驱动程序。数据库连接URL:jdbc:phoenix:namenode1.KTCPS08232017.ONMICROSOFT.COM:8765:nn_AzureClu/namenode@KTCPS08232017.ONMICROSOFT.COM:C:\Hadoop_Conf\nn_AzureClu.keytab 最佳答案 基于thisHCCpost,有一个解决方法:改用Phoenix查询服务器和JDBC瘦客户端。它不需要任何hadoo
有没有人在使用phoenix连接到安全hbase集群时看到以下消息:15/08/2523:04:49DEBUGipc.AbstractRpcClient:UseSIMPLEauthenticationforserviceMasterService,sasl=false15/08/2523:04:49DEBUGipc.AbstractRpcClient:Connectingtonnn-hdp-sa-********/10.99.40.213:6000015/08/2523:04:49DEBUGipc.AbstractRpcClient:UseSIMPLEauthenticationfor
我们正在尝试使用talend批处理(spark)作业访问Kerberos集群中的配置单元,但我们收到以下“无法获取主Kerberos主体以用作更新程序”错误。通过在talend中使用标准作业(非spark),我们可以毫无问题地访问hive。观察结果如下:当我们运行sparkjobs时,talend可以连接到hiveMetastore并验证语法。例如,如果我提供了错误的表格命名它确实返回“找不到表”。当我们从没有数据的表中选择count(*)时,它返回“NULL”,但如果Hdfs(table)中存在某些数据,它会因错误而失败“无法获得主Kerberos主体以用作更新程序”。我不确定导致t
我正在尝试使用SparkR包从RStudio桌面(Windows)连接我的HDP集群。Sparkinit失败,没有凭据错误消息,这似乎是因为缺少kerberos凭据。(可以在下面找到确切的错误消息)我已经有一个kerberos自动收报机,但发现RStudio桌面不支持Kerberos身份验证,而我需要的是RStudioserverpro。但是,看起来RStudioserverPro无法安装在Windows上。如果我想坚持使用当前基于Windows的R和RStudio环境,是否还有其他连接Hadoop的方法?此外,在核心R本身(没有RStudio)中是否有任何包可以用来对Hadoop集群