我的配置如下:运行Spark1.2.0，Hadoop2.5.0/YARN，ClouderaCDH5VMCentos6.2运行Windows64位平台8GBRAM下面是从spark-shell运行的命令序列，但在尝试打印custRDD时，我收到Kerberos身份验证错误。我已经从cloudera用户登录到spark-shell，ClouderaVM是Kerberos认证的，默认主体是cloudera@HADOOP.LOCALDOMAIN对于正常的RDD操作，有什么方法可以从spark-shell验证Kerberos吗？或者我遗漏了什么？感谢任何正当的帮助，将得到返回下面是SparkSh
我无权更改/etc/krb5.conf中的文件，因此我设置了KRB5_CONFIG。exportKRB5_CONFIG=/home/user/keytab/krb5.conf回显此变量验证此路径已设置，但当我尝试kinit时它仍在使用/etc/krb5.conf文件。我还需要设置什么吗？我需要设置任何特定权限或重新启动任何服务吗？我这样做的原因是Hadoop不支持非默认领域。 最佳答案 您可以通过传递参数指向您所在位置的krb5.conf-Djava.security.krb5.conf=/home/user/keytab/krb5
我们有一个非KerberizedHortonworks集群，它需要访问KerberizedClouderacluster中的服务.非Kerberized集群可以通过哪些方式与Kerberized集群通信？我们可以吗将Kerberized集群中的KDC配置为普通KDC？KerberizetheHortonworkscluster通过安装和配置Kerberos，创建SPN和UPN等，？ 最佳答案 “非Kerberized集群可以通过哪些方式与Kerberized集群通信”通常没有(异常(exception)情况-见下文)..一旦你对集群
我正在尝试通过笔记本电脑上安装的intelliJ在本地连接到hdfs。我正在尝试连接的集群是使用边缘节点进行Kerberized化的。我为边缘节点生成了一个key表，并在下面的代码中进行了配置。我现在可以登录到边缘节点了。但是当我现在尝试访问名称节点上的hdfs数据时，它会抛出错误。下面是试图连接到hdfs的Scala代码:importorg.apache.spark.sql.SparkSessionimportorg.apache.hadoop.conf.Configurationimportorg.apache.hadoop.fs.{FileSystem,Path}importor
我正在尝试从parquet文件中发现模式。我尝试使用代码:parquet-toolsschemahdfs://:8020///.parquet但是我得到了错误:SIMPLEauthenticationisnotenabled.Available:[TOKEN,KERBEROS]有谁知道如何在Kerberized环境中使用parquet-tools。我有带权限的keytab，我在knit命令之前运行。 最佳答案 hadoop.security.authentication的配置可以取值SIMPLE或KERBEROS。从你得到的错误来看
我想在Hadoop2.5集群上启用Kerberos，该集群中有我们要保留的数据。进入Ambari中的Kerberos向导，它警告:YARNlogandlocaldirwillbedeletedandResourceManagerwillbeformatted...这会损害我们部署的数据和应用程序吗？我们在专用数据节点上有Hive数据，但我不清楚是否需要备份和恢复所有数据。我们是否需要备份，如果需要，如何备份？ 最佳答案 你应该没问题。您的消息中提到的本地目录:YARNlogandlocaldirwillbedeletedandRes
我正在尝试在启用kerberos的环境中从oozie配置单元操作执行配置单元脚本。这是我的workflow.xml${jobTracker}${nameNode}hive-site.xmlmapred.job.queue.name${queueName}script.qHIVE_EXPORT_TIME=${hiveExportTime}我在尝试连接到HiveMetastore时遇到问题。6870[main]INFOhive.metastore-TryingtoconnecttometastorewithURIthrift://10.0.0.242:9083HeartbeatHeartb
我有一个Hadoop集群，它使用公司的ActiveDirectory作为Kerberos领域。节点和最终用户Linux工作站都是Ubuntu16.04。它们使用PowerBrokerPBIS加入同一个域，因此工作站和网格节点之间的SSH登录是单点登录。最终用户从他们的工作站运行长时间运行的脚本，这些脚本重复使用SSH首先在集群上启动Spark/Yarn作业，然后跟踪他们的进度，这些脚本必须在晚上和周末保持运行，远远超过10小时Kerberos票证的生命周期。我正在寻找一种方法来为用户安装永久的、服务式的Kerberoskey表，从而使他们无需处理kinit。我知道这意味着任何人都可以作
我一直在尝试为CDH4.5设置Kerberos，这是使用ClouderaManager安装程序设置的。说明来自以下链接:http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/4.5.2/Configuring-Hadoop-Security-with-Cloudera-Manager/cmeechs_topic_4.html设置和KDC后，我将Java6文件的JCE策略复制到以下位置:/usr/java/jdk1.6.0_31/lib/security/以下是我的“/var/kerberos/krb5
我有两个Hadoop集群，并且都运行相同的Hadoop版本。我在两个集群中都有一个用户“testuser”(示例)(因此两个集群中都存在testuserkeytabs)。Namenode#1(sourcecluster):hdfs://nn1:8020Namenode#2(destcluster):hdfs://nn2:8020我想使用hadoopdistcp将一些文件从一个集群复制到另一个集群。示例:在源集群中，我有一个路径为“/user/testuser/temp/file-r-0000”的文件，在目标集群中，目标目录为“/user/testuser/dest/”。所以我想要的是将
