在CentOS6上运行的私有(private)服务器上配置Kerberos后，当我运行kinit时出现此错误，我得到以下响应:kinit:RealmnotlocaltoKDCwhilegettinginitialcredentials这是我的配置文件的副本:[logging]default=FILE:/var/log/krb5libs.logkdc=FILE:/var/log/krb5kdc.logadmin_server=FILE:/var/log/kadmind.log[libdefaults]dns_lookup_realm=truedns_lookup_kdc=truetick

我们需要在HDFS位置、HDFS文件夹之间建立一个文件副本。我们目前在shell脚本循环中使用了curl命令，如下所示。/usr/bin/curl-v--negotiate-u:-XPUT":/webhdfs/v1/busy/rg/stg/"$1"/"$table"/"$table"_"$3".dsv?op=RENAME&destination=/busy/rg/data/"$1"/"$table"/"$table"_$date1.dsv"不过这样就实现了文件的移动。我们需要建立一个文件副本，以便将文件保留在原始暂存位置。想知道有没有相应的curl操作？op=RENAME&destin

我用kerberos设置了hadoop集群，但是当我运行spark-submit时，它抛出了异常。17/10/1908:46:53WARNscheduler.TaskSetManager:Losttask0.0instage0.0(TID0,192.168.92.4,executor1):java.io.IOException:Failedonlocalexception:java.io.IOException:org.apache.hadoop.security.AccessControlException:Clientcannotauthenticatevia:[TOKEN,KER

我有一个版本5的Cloudera集群启用Hadoop安全后我遇到了一个问题Hadoop服务没有启动。我在YARN上遇到错误:PriviledgedActionExceptionas:mapred/cdh4hdm@IMP.CO.IN(auth:KERBEROS)cause:java.io.IOException:Couldn'tsetupconnectionformapred/cdh4hdm@IMP.CO.INtocdh4hdm/172.26.43.40:80203:23:49.298PMINFOorg.apache.hadoop.service.AbstractServiceServi

我的配置如下:运行Spark1.2.0，Hadoop2.5.0/YARN，ClouderaCDH5VMCentos6.2运行Windows64位平台8GBRAM下面是从spark-shell运行的命令序列，但在尝试打印custRDD时，我收到Kerberos身份验证错误。我已经从cloudera用户登录到spark-shell，ClouderaVM是Kerberos认证的，默认主体是cloudera@HADOOP.LOCALDOMAIN对于正常的RDD操作，有什么方法可以从spark-shell验证Kerberos吗？或者我遗漏了什么？感谢任何正当的帮助，将得到返回下面是SparkSh

我无权更改/etc/krb5.conf中的文件，因此我设置了KRB5_CONFIG。exportKRB5_CONFIG=/home/user/keytab/krb5.conf回显此变量验证此路径已设置，但当我尝试kinit时它仍在使用/etc/krb5.conf文件。我还需要设置什么吗？我需要设置任何特定权限或重新启动任何服务吗？我这样做的原因是Hadoop不支持非默认领域。 最佳答案 您可以通过传递参数指向您所在位置的krb5.conf-Djava.security.krb5.conf=/home/user/keytab/krb5

我正在尝试从parquet文件中发现模式。我尝试使用代码:parquet-toolsschemahdfs://:8020///.parquet但是我得到了错误:SIMPLEauthenticationisnotenabled.Available:[TOKEN,KERBEROS]有谁知道如何在Kerberized环境中使用parquet-tools。我有带权限的keytab，我在knit命令之前运行。 最佳答案 hadoop.security.authentication的配置可以取值SIMPLE或KERBEROS。从你得到的错误来看

我想在Hadoop2.5集群上启用Kerberos，该集群中有我们要保留的数据。进入Ambari中的Kerberos向导，它警告:YARNlogandlocaldirwillbedeletedandResourceManagerwillbeformatted...这会损害我们部署的数据和应用程序吗？我们在专用数据节点上有Hive数据，但我不清楚是否需要备份和恢复所有数据。我们是否需要备份，如果需要，如何备份？ 最佳答案 你应该没问题。您的消息中提到的本地目录:YARNlogandlocaldirwillbedeletedandRes

我正在尝试在启用kerberos的环境中从oozie配置单元操作执行配置单元脚本。这是我的workflow.xml${jobTracker}${nameNode}hive-site.xmlmapred.job.queue.name${queueName}script.qHIVE_EXPORT_TIME=${hiveExportTime}我在尝试连接到HiveMetastore时遇到问题。6870[main]INFOhive.metastore-TryingtoconnecttometastorewithURIthrift://10.0.0.242:9083HeartbeatHeartb

我有一个Hadoop集群，它使用公司的ActiveDirectory作为Kerberos领域。节点和最终用户Linux工作站都是Ubuntu16.04。它们使用PowerBrokerPBIS加入同一个域，因此工作站和网格节点之间的SSH登录是单点登录。最终用户从他们的工作站运行长时间运行的脚本，这些脚本重复使用SSH首先在集群上启动Spark/Yarn作业，然后跟踪他们的进度，这些脚本必须在晚上和周末保持运行，远远超过10小时Kerberos票证的生命周期。我正在寻找一种方法来为用户安装永久的、服务式的Kerberoskey表，从而使他们无需处理kinit。我知道这意味着任何人都可以作