草庐IT

KERBEROS

全部标签

apache-spark - Kerberos Cloudera Hadoop 的 livy curl 请求错误

在kerberizedCDH5.10.x上配置了livy服务器,它在端口8998上运行良好,但curl请求给出以下错误,curl--negotiate-u:http://xxxxxxx:8998/sessionsError403HTTPERROR:403Problemaccessing/sessions.Reason:GSSException:Novalidcredentialsprovided(Mechanismlevel:FailedtofindanyKerberoscredentails)PoweredbyJetty://无法理解为什么请求没有通过kerberos安全层?

hadoop - 在运行时在 Kerberos 安全 Hadoop 集群中模拟用户

我有一个Web应用程序,它接收来自不同用户的从linux命令行运行的其他几个应用程序的请求。对于这些请求中的每一个,我都必须从hdfs读取数据以调用只有调用应用程序linux用户才能访问的应用程序文件夹。有没有一种方法可以设置配置,使其可以在运行时被覆盖以模拟调用者应用程序用户进行hadoopkerberos身份验证。我使用下面的代码创建了一个UserGroupInformation以从kerberoskeytab登录。此UGI将充当真实用户并将其传递给UserGroupInformation类以创建代理用户,如下所示。UserGroupInformationrealUgi=UserG

hadoop - 我可以使用 Kerberos 在 Yarn 上运行 DCE(Docker 容器执行器)吗?

hadoop文档指出DCE不支持具有安全模式(Kerberos)的集群:https://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/DockerContainerExecutor.html有人在研究这个吗?有办法绕过这个限制吗? 最佳答案 好的。当前没有关于DCE的工作(YARN-2466)。努力已经转向支持LinuxContainerExecutor中的Docker容器(YARN-3611)。这将支持Kerberos。目前还没有文档(YARN-5258),其

hadoop - 在 oozie Java Action 中传递 HBase 凭据

我需要安排一个与安全hbase交互的oozieJava操作,因此我需要为Java操作提供hbase凭据。我使用的是安全的hortonworks2.2环境,我的工作流XML如下${jobTracker}${nameNode}com.test.hbase.TestHBaseSecure${arg1}Javafailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]我还修改了oozie属性以包含HbaseCredentials类oozie.credentials.credentialclasses=hcat=org.apache.o

java - 连接到 Kerberrized HDFS,java.lang.IllegalArgumentException : Failed to specify server's Kerberos principal name;

我正在尝试使用以下代码连接到Kerberizedhdfs集群,使用以下相同的代码我能够使用HBaseConfiguration访问hbaseofcourse,Configurationconfig=newConfiguration();config.set("hadoop.security.authentication","Kerberos");UserGroupInformation.setConfiguration(config);UserGroupInformationugi=null;ugi=UserGroupInformation.loginUserFromKeytabAnd

使用 Kerberos 的 Hadoop Web 身份验证

我使用kerberos配置了hadoop,一切正常,我可以浏览hdfs、提交作业等。但是httpweb身份验证失败。我在cdh3u2中使用hadoop-0.20.2,它支持HTTPSPNEGO。core-site.xml中HTTP认证相关配置如下:hadoop.http.filter.initializersorg.apache.hadoop.security.AuthenticationFilterInitializerhadoop.http.authentication.typekerberoshadoop.http.authentication.token.validity360

hadoop - 从本地 IDE 针对远程 Spark 集群运行

我们有一个基于Kerberos的集群,Spark在Yarn上运行。目前,我们在本地用Scala编写Spark代码,然后构建一个胖JAR,我们将其复制到集群,然后运行​​spark-submit。相反,我想在我的本地PC上编写Spark代码并让它直接在集群上运行。有没有直接的方法来做到这一点?Spark文档似乎没有任何此类模式。仅供引用,我的本地计算机正在运行Windows,集群正在运行CDH. 最佳答案 虽然cricket007的答案适用于spark-submit,但这是我使用IntelliJ针对远程集群运行的方法:首先,确保客户端

security - 什么是 key 表?

我试图了解Kerberos的工作原理,因此遇到了这个名为Keytab的文件,我相信它用于对KDC服务器进行身份验证。就像Kerberos领域中的每个用户和服务(比如Hadoop)都有一个服务主体一样,是否每个用户和服务都有一个key表文件?此外,使用keytab的身份验证是否适用于对称key加密或公私key? 最佳答案 要回答您的两个问题,每个用户和服务都不需要key表文件,key表使用对称key加密。我将根据我对如何在使用ActiveDirectory作为目录服务的Windows和非Windows系统的混合网络中使用key表的理解

bash - 如何测试是否需要 kinit?

我想在我的.bashrc文件中添加一些内容,以便在需要时运行kinit。有没有办法测试我是否需要执行kinit?像这样:if[kinitNeeded];dokinit;donekinitNeeded(){???} 最佳答案 您可以尝试klist-s。从手册页:”使klist静默运行(不产生输出),但仍根据是否找到凭据缓存来设置退出状态。如果klist找到凭据缓存,则退出状态为“0”,如果找到凭据缓存,则退出状态为“1”它没有或者如果票已过期。” 关于bash-如何测试是否需要kinit?

【dbeaver】win环境的kerberos认证和Clouders/cdh集群中Kerberos认证使用Dbeaver连接Hive、Impala和Phoenix

一、配置Mitkerberos1.1下载安装MITKERBEROS客户端MITKERBEROS下载较新的版本即可。下载之后一路默认安装即可。注意:不要修改软件安装位置。修改系统环境变量中的Path。将刚刚的安装路径置顶。(不置顶,也要比%JAVA_HOME%\bin和anaconda相关的高)使用CMD命令确认下:1.2修改krb5.conf文件并创建krb5.ini配置文件krb5.conf一般存储在集群的/etc目录下。其中conf文件中仅需要保留一下三大项中的内容即可。如果有此项renew_lifetime=1800d需要删除或注释(行首添加#)[libdefaults]......[r