我有一个运行Hive操作的Oozie工作流。配置单元操作非常简单，它只是从一个表中读取副本到另一个表。该作业具有以下属性:user.name=yarnmapreduce.job.user.name=cloudfeeds作业失败并出现以下错误:15/07/1618:45:25INFOmapreduce.Job:Jobjob_1435680786374_0060failedwithstateFAILEDdueto:Applicationapplication_1435680786374_0060failed2timesduetoAMContainerforappattempt_143568
我在HDP2.5集群中使用ApacheTwill运行自定义Yarn应用程序，但是当我转到我的容器网页时，我无法看到我自己的容器日志(syslog、stderr和stdout):当我导航到此页面时，登录名也从我的kerberos更改为“dr.who”。但是我可以看到map-reduce作业的日志。Hadoop版本为2.7.3，集群启用了yarnacl。 最佳答案 我在使用hadoopui时遇到了这个问题。我在this中找到doc，hadoop.http.staticuser.user默认设置为dr.who，您需要将其包含在相关设置文件
我已按照Hadoopthedefinitiveguide,4thedition:AppendixA中的说明进行操作在伪分布式模式下配置Hadoop。一切正常，除了我尝试创建目录时:hadoopfs-mkdir-p/user/$USER命令返回以下消息:mkdir:/user/my_user_name':Input/outputerror。虽然，当我第一次登录到我的根帐户sudo-s然后键入hadoopfs-mkdir-p/user/$USER命令时，目录'user/root'被创建(路径中的所有目录)。我想我遇到了Hadoop权限问题。任何帮助将不胜感激，谢谢。
记录错误:TestSuccessfull2018-08-2004:52:15INFOApplicationMaster:54-Finalappstatus:FAILED,exitCode:132018-08-2004:52:15ERRORApplicationMaster:91-Uncaughtexception:java.lang.IllegalStateException:Userdidnotinitializesparkcontext!atorg.apache.spark.deploy.yarn.ApplicationMaster.runDriver(ApplicationMas
我正在尝试从我的eclipse连接到Hadoop(2.4)上的HBase(版本0.94.18)并在此之后进行连接。这只发生在我的本地机器上。代码在服务器上运行良好。有什么想法吗？INFOZooKeeper-Clientenvironment:user.dir=D:\eclipse\eclipse-jee-64\eclipseINFOZooKeeper-Initiatingclientconnection,connectString=11.45.66.78:2181sessionTimeout=180000watcher=hconnectionINFOClientCnxn-Opening
我正尝试在mapreduce中提交远程作业，但出现错误[1]。我什至在远程hadoop的hdfs-site.xml中设置了内容[2]，并更改了权限[3]，但问题仍然存在。客户端是xeon，super用户是xubuntu。如何在mapreduce中添加远程用户提交权限？如何为xeon设置组？[1]2015-04-2305:57:35,648WARNorg.apache.hadoop.security.UserGroupInformation:Nogroupsavailableforuserxeon[2]dfs.web.ugixeon,webuser,webgroup[3]2041hdfs
我们一直在多个(较旧的)Cloudera实例中使用Kerberos身份验证而没有出现问题，但现在出现“KerberosName$NoMatchingRule:没有规则应用于user@REALM”错误。我们一直在修改代码以添加功能，但据我所知，没有人触及身份验证代码或集群配置。(我不能排除这种可能性-显然有些东西已经改变了。)我设置了一个简单的单元测试并验证了此行为。在命令行，我可以执行“kinit-ktuser.keytabuser”并获取相应的Kerberos票证。这验证了正确的配置和key表文件。但是我的独立应用程序因提到的错误而失败。更新当我编辑这个时，我一直在调试器中运行测试，
有什么方法可以使用WebUI在HDFS中添加文件。关于http://localhost:50070/或者在其他一些url。有没有这样的东西？ 最佳答案 没有。Web界面没有添加文件的功能。但是你可以退房HUE或AmbariwithFilesView. 关于user-interface-从HadoopWebUI将文件添加到HDFS，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/40
有人知道hbase有什么问题吗？我正在为hadoop使用cloudera发行版的vm图像，以前它工作正常但现在当我尝试列出所有表时每秒都会给我这个错误:10/12/2606:48:07信息ipc.HbaseRPC:尝试1次后无法访问位于/127.0.0.1:58920的服务器，放弃。 最佳答案 我在Ubuntu11.10上遇到了同样的问题。默认安装在/etc/hosts中添加了一行，将我的机器主机名与IP127.0.1.1相关联。我将此链接更改为指向127.0.0.1，Hbase开始工作。此外，其他计算机上类似问题的解决方案要么禁用
Hive可以配置为hive.exec.scratchdir=/user/${user.name}/tmp/hive我可以用Pig做类似的事情吗？我已尝试修改pig.properties文件，但似乎没有任何效果。pig.temp.dir=/user/${user.name}/tmp/pig我可以用别名替换pig命令，但我希望将更改写入配置文件。pig-Dpig.temp.dir=/user/`whoami`/tmp/pig谢谢!更新:我们决定将/tmp/用于生产系统。这是一个问题的原因是因为我们正在运行MapR，它似乎试图将临时目录放入用户目录，并在Hive上成功，但在Pig上却没有。
