我想在OpenTSDB上做一些POC。我已经按照安装说明安装了OpenTSDB，但启动起来很困难。我正在使用启用了Kerberos的HDP环境，我正在将OpenTSDB与KerberizedHBase集成，但面临以下异常。如果有人将OpenTSDB与KerberosHBase集成，请指导..异常(exception):2017-06-0714:07:14,254INFO[main-SendThread(ZKIP1:2181)]ClientCnxn:OpeningsocketconnectiontoserverZKIP1/192.xxx.xxx.xxx:2181.Willnotattem
我们有一个非KerberizedHortonworks集群，它需要访问KerberizedClouderacluster中的服务.非Kerberized集群可以通过哪些方式与Kerberized集群通信？我们可以吗将Kerberized集群中的KDC配置为普通KDC？KerberizetheHortonworkscluster通过安装和配置Kerberos，创建SPN和UPN等，？ 最佳答案 “非Kerberized集群可以通过哪些方式与Kerberized集群通信”通常没有(异常(exception)情况-见下文)..一旦你对集群
我正在尝试通过笔记本电脑上安装的intelliJ在本地连接到hdfs。我正在尝试连接的集群是使用边缘节点进行Kerberized化的。我为边缘节点生成了一个key表，并在下面的代码中进行了配置。我现在可以登录到边缘节点了。但是当我现在尝试访问名称节点上的hdfs数据时，它会抛出错误。下面是试图连接到hdfs的Scala代码:importorg.apache.spark.sql.SparkSessionimportorg.apache.hadoop.conf.Configurationimportorg.apache.hadoop.fs.{FileSystem,Path}importor
我正在尝试以编程方式与Kerberized(CDH5.3/HDFS2.5.0)的Hadoop集群进行通信。我在客户端有一个有效的Kerberostoken。但是我收到如下错误，“客户端和服务器之间没有公共(public)保护层”。这个错误是什么意思，有什么方法可以修复或解决它吗？这与HDFS-5688有关吗？？该票似乎暗示必须设置属性“hadoop.rpc.protection”，大概是“身份验证”(也根据例如this)。这是否需要在集群中的所有服务器上设置，然后集群反弹？我无法轻松访问集群，因此我需要了解“hadoop.rpc.protection”是否是真正的原因。看起来'auth
我成功地对一个测试Hortonworks集群进行了Kerberized。Ambari为服务创建了key表，它们都已启动。名称节点有HA。备用名称节点启动速度快，事件名称节点需要更长的时间。NamenodeUI显示一切正确。可以使用kerberos登录。名称节点是nn1.zim.com和nn2.zim.com这个配置有什么问题？以hdfs身份登录，使用kinit-kt加载key表。在列表HDFS尝试中我得到这个错误:[root@nn1hdfs]#hdfsdfs-ls/18/12/0216:18:22WARNipc.Client:Exceptionencounteredwhileconne
我正在尝试通过Livy连接到kerberizedhadoop集群以执行Spark代码。我发出的请求调用如下。kerberos_auth=HTTPKerberosAuth(mutual_authentication=REQUIRED,force_preemptive=True)r=requests.post(host+'/sessions',data=json.dumps(data),headers=headers,auth=kerberos_auth)此调用失败并出现以下错误GSSException:Novalidcredentialsprovided(Mechanismlevel:F
我使用HortonworksDataPlatform2.5设置了一个Hadoop集群，其中还包括Ambari2.4、Kerberos、Spark1.6.2和HDFS。我有例如以下用户的Kerberos主体和key表:spark(由Ambari在启用Kerberos期间创建)hdfsuserA(由kadmin创建->add_principle)需要用户spark在安全集群中运行spark-submit命令，Spark应用程序必须打开HDFS目录/user/中的一些文件hdfsuserA/...，由hdfsuserA(700)所有。由于我启用了Kerberos，我的Spark应用程序将不再
我对Kerberos很陌生。我正在使用共享的Hadoop集群。我的管理员向我提供了用户名和密码以及KDC服务器的位置。是否可以仅使用JAVAGSSAPI和HadoopUSerGroupInformation类来访问Hadoop集群。对于非kerberoshadoop集群，这将是我用来从HDFS读取文件的代码片段:Stringuname=;UserGroupInformationugi=UserGroupInformation.createRemoteUser(uname);ugi.doAs(newPrivilegedExceptionAction(){publicVoidrun()th
我设置了一个HDP集群，其中包含Spark。我还为集群启用了Kerberos，因此所有服务和用户都必须通过其主体进行身份验证。这似乎工作正常，所有服务都在运行，并且用户必须获得有效的Kerberos票证才能访问，例如YARNResourceManager的WebUI。否则他会收到这样的错误消息:但是，在创建一个kinit之后，用户可以访问该网站。我现在想要做的(我认为它已经是)，也是像那样保护SparkHistoryServerUI，以便用户必须通过Kerberos票证进行身份验证。实际上每个人都可以在没有身份验证的情况下访问UI:有没有可能做到这一点？如果是，我该如何配置？spark
