草庐IT

User-default

全部标签

hadoop - default.fs.name 和 hive.metastore.warehouse.dir 不冲突

嗨,当我尝试运行以下命令时LoaddataInpath'/data'intoTableTablename;在hiveshell中抛出以下错误Movefrom:hdfs://hadoopcluster/datato:file:/user/hive/warehouse/Tablenameisnotvalid.Pleasecheckthatvaluesforparams"default.fs.name"and"hive.metastore.warehouse.dir"donotconflict.我的default.fs.name属性在哪里fs.defaultFShdfs://hadoopcl

hadoop - 普通身份验证失败 : User yarn is not configured for any impersonation. impersonationUser:alluxio mapreduce 中的 root

Causedby:org.apache.thrift.transport.TTransportException:Plainauthenticationfailed:Useryarnisnotconfiguredforanyimpersonation.模拟用户:root当我使用alluxio在本地运行wordcount程序时它工作正常。我也通过了集成测试,但是当我使用alluxio客户端jar运行相同的Hadoop程序时它给我一个错误bin/hadoopjar/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jarwordcount

hadoop - 全局变量 HADOOP_USER_NAME oozie?

有什么方法可以在oozie工作流中将HADOOP_USER_NAME声明为全局变量?实际上,我正在为我的项目创建多个shell操作,但为每个shell操作声明一个HADOOP_USER_NAME效率不高,这就是为什么我想知道在这种情况下是否可以使用全局变量,如果可以,我该如何继续它。..非常感谢您的帮助。这是我正在使用的代码HADOOP_USER_NAME*****Error[${wf:errorMessage(wf:lastErrorNode())}]${jobTracker}${nameNode}script1.shscript1.sh#script1.sh出于某种原因,我没有从H

hadoop - 使用 --proxy-user、--keytab 和 --principal 参数在 hadoop kerberos 中提交 spark-submit

只是想得到澄清,如果spark-submit--keytab--principal&&--proxy-user参数可以共存吗?我们要求以真实的业务用户身份提交作业,但该用户在hadoopkdc中没有主体。每当同时使用proxy-user和kerberosprincipal时,我都会遇到异常。17/02/0913:51:43INFODFSClient:CreatedHDFS_DELEGATION_TOKENtoken379foratlason10.12.118.92:8020Exceptioninthread"main"java.io.IOException:java.lang.refl

Hue 中的 hadoop.hdfs_clusters.default.webhdfs_url 错误

任何人都可以帮我解决这个色调错误。Currentvalue:http://localhost:50070/webhdfs/v1Failedtocreatetemporaryfile"/tmp/hue_config_validation.15785472045199379485"仅供引用,我使用的是ClouderaManager5.1.3和Hue3.6。 最佳答案 好的,我自己解决问题。错误原因是NameNode处于安全模式。此命令将使您的Namenode离开安全模式。sudo-uhdfshdfsdfsadmin-safemodele

hadoop - org.apache.hadoop.security.AccessControlException : Permission denied: user=test-user, access=EXECUTE, inode ="system":hadoop:test-user:rwx------

以前测试用户曾经驻留在连接丢失的边缘服务器上。因此,我们重建了边缘服务器并一直在尝试启动并运行它,但我一直收到以下错误。Jobinitializationfailed:org.apache.hadoop.security.AccessControlException:org.apache.hadoop.security.AccessControlException:Permissiondenied:user=test-user,access=EXECUTE,inode="system":hadoop:test-user:rwx------atsun.reflect.GeneratedC

java - mapred-site.xml 未覆盖 mapred-default.xml 中的参数

我正在使用Hadoop版本0.20.2(Cloudera发行版cdh3u6)并发现问题。据我了解,如果我在/etc/hadoop/conf/mapred-site.xml中设置一个值,它应该自动覆盖Hadoop默认值。所以我设置了一个变量如下:mapred.child.java.opts-Xmx1024m但是,这没有任何效果。现在,我知道hadoop正在读取该文件,因为如果我将变量设置为final(true),则该设置确实适用于我的工作。但是,据我了解,这不是必需的,因为mapred-site.xml应该在mapred-default.xml之后加载所以它应该简单地覆盖它。您可能会问,

java - dfs.data.dir : Failed to set permissions of path:\tmp\hadoop-user\dfs\data to 0755 中的无效目录

我是hadoop框架的新手,目前我正在处理大数据项目,在Windows7中使用cygwin、hadoop-0.19.1、eclipse-3.3.1(Europa)。现在我正在尝试从hadoop-0.19进行更改.1到hadoop-1.2.1version.i如下配置hadoop-1.2.1核心站点.xml:fs.default.namehdfs://localhost:9100hdfs.xmldfs.replication1mapred-site.xmlmapred.job.trackerlocalhost:9101但是我在启动数据节点时出错,如下所示$bin/hadoopdatano

linux - 运行 hadoop 集群时在 Google Cloud Platform 上获取 'sudo: unknown user: hadoop' 和 'sudo: unable to initialize policy plugin error'

我正在尝试部署Google在https://github.com/GoogleCloudPlatform/solutions-google-compute-engine-cluster-for-hadoop提供的示例Hadoop应用程序在谷歌云平台上。我逐步按照那里给出的所有设置说明进行操作。我能够设置环境并成功启动集群。但是我无法运行MapReduce部分。我正在我的终端上执行这个命令:./compute_cluster_for_hadoop.pymapreduce[--prefix]--inputgs://\--outputgs://\--mappersample/shortest

hadoop - MapReduce 作业作为用户在/user/yarn/.staging 目录上获得权限错误运行

我有一个运行Hive操作的Oozie工作流。配置单元操作非常简单,它只是从一个表中读取副本到另一个表。该作业具有以下属性:user.name=yarnmapreduce.job.user.name=cloudfeeds作业失败并出现以下错误:15/07/1618:45:25INFOmapreduce.Job:Jobjob_1435680786374_0060failedwithstateFAILEDdueto:Applicationapplication_1435680786374_0060failed2timesduetoAMContainerforappattempt_143568