草庐IT

user-pass

全部标签

hadoop - 我必须创建/tmp 和/user/hive/warehouse 吗?

来自https://cwiki.apache.org/confluence/display/Hive/GettingStartedRunningHiveHiveusesHadoop,so:youmusthaveHadoopinyourpathORexportHADOOP_HOME=Inaddition,youmustusebelowHDFScommandstocreate/tmpand/user/hive/warehouse(akahive.metastore.warehouse.dir)andsetthemchmodg+wbeforeyoucancreateatableinHive.

hadoop - Sqoop Teradata 连接器问题 - 错误 : The user does not have CREATE TABLE access to database

当我尝试从TeradataView导入表时,我遇到了Sqoop的Teradata连接器问题。我只能访问View。但不知何故,当sqoop作业开始时,它试图在我正在访问的TeradataDB中创建一个表,但无权在该DB/schema中创建任何表我低于错误13/05/3103:40:12ERRORtool.ImportTool:EncounteredIOExceptionrunningimportjob:com.teradata.hadoop.exception.TeradataHadoopSQLException:com.teradata.jdbc.jdbc_4.util.JDBCExc

user-interface - Hue 安装在 vanilla hadoop 上

有人试过在ApacheHadoop上安装HUE吗?我们正在使用hadoop0.20.2,我想知道在我投入时间之前是否有人成功使用它。任何指针将不胜感激。 最佳答案 看来不可能...http://getsatisfaction.com/cloudera/topics/issue_with_cloudera_plugin_loading_in_hadoop 关于user-interface-Hue安装在vanillahadoop上,我们在StackOverflow上找到一个类似的问题:

shell - 错误 : Permission denied: '/user'

当我尝试将AWSS3存储桶复制到HDFS时出现错误:Permissiondenied:'/user'下面是我的脚本awss3syncs3://folder1.folder2/file.json/user/hive/warehouse/my.db/json_table请帮忙! 最佳答案 S3sync无法识别HDFS路径。要么使用,hadoopdistcp在配置所有与S3相关的properties之后.S3DistCp,这需要s3distcp.jar。如果文件很小,sync文件到localpath和copyFromLocal到HDFS。

Hadoop 管道 : how to pass large data records to map/reduce tasks

我正在尝试使用map/reduce来处理大量二进制数据。该应用程序的特点如下:记录的数量可能很大,因此我真的不想将每条记录作为单独的文件存储在HDFS中(我打算将它们全部连接到单个二进制序列文件),并且每个记录都是一个大的连贯(即不可拆分)blob,大小在一到几百MB之间。这些记录将由C++可执行文件使用和处理。如果不是为了记录的大小,HadoopPipesAPI会很好:但这似乎是基于将输入作为连续的字节block传递给map/reduce任务,这在这种情况下是不切实际的。我不确定执行此操作的最佳方法。是否存在任何类型的缓冲接口(interface)允许每个M/R任务以可管理的bloc

java - 亚马逊电子病历 : Passing java system property to custom jar

AmazonEMR是否允许将系统属性传递给自定义jar,例如hadoopjar-Dkey=valuemyjob.jar?(上面的key,value在应用程序本身的初始化期间使用,而不是属于hadoop的Configuration对象。)相关话题Howtospecifymapredconfigurations&javaoptionswithcustomjarinCLIusingAmazon'sEMR?讨论了仅通过引导操作将系统属性传递给hadoop守护进程的方法,显然,这不允许对java入口点类执行相同的操作。 最佳答案 如果您不想将

java - 错误 : org. apache.hadoop.security.AccessControlException : Permission denied: user=root, access=READ_EXECUTE,

我在CentOS6机器上使用的是hadoop-1.2.1版本,并且已经配置好,它运行成功,我还在Eclipsekepler中安装了hadoop的插件,但不幸的是我得到了一个权限被拒绝的错误,我有如图所示,我试图通过阅读许多博客来解决这个问题,但我仍然被困在那里..有人可以解决这个问题吗? 最佳答案 我从您的问题中了解到,我想您正在使用操作系统的“root”登录以启动Hadoop。我建议重新启动您的系统并从“Hadoop”(在用户列表中给出,例如root、Guest、Hadoop)登录,然后启动Hadoop。然后它就会工作。

hadoop - 普通身份验证失败 : User yarn is not configured for any impersonation. impersonationUser:alluxio mapreduce 中的 root

Causedby:org.apache.thrift.transport.TTransportException:Plainauthenticationfailed:Useryarnisnotconfiguredforanyimpersonation.模拟用户:root当我使用alluxio在本地运行wordcount程序时它工作正常。我也通过了集成测试,但是当我使用alluxio客户端jar运行相同的Hadoop程序时它给我一个错误bin/hadoopjar/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jarwordcount

hadoop - 全局变量 HADOOP_USER_NAME oozie?

有什么方法可以在oozie工作流中将HADOOP_USER_NAME声明为全局变量?实际上,我正在为我的项目创建多个shell操作,但为每个shell操作声明一个HADOOP_USER_NAME效率不高,这就是为什么我想知道在这种情况下是否可以使用全局变量,如果可以,我该如何继续它。..非常感谢您的帮助。这是我正在使用的代码HADOOP_USER_NAME*****Error[${wf:errorMessage(wf:lastErrorNode())}]${jobTracker}${nameNode}script1.shscript1.sh#script1.sh出于某种原因,我没有从H

hadoop - 使用 --proxy-user、--keytab 和 --principal 参数在 hadoop kerberos 中提交 spark-submit

只是想得到澄清,如果spark-submit--keytab--principal&&--proxy-user参数可以共存吗?我们要求以真实的业务用户身份提交作业,但该用户在hadoopkdc中没有主体。每当同时使用proxy-user和kerberosprincipal时,我都会遇到异常。17/02/0913:51:43INFODFSClient:CreatedHDFS_DELEGATION_TOKENtoken379foratlason10.12.118.92:8020Exceptioninthread"main"java.io.IOException:java.lang.refl