草庐IT

hadoop - 如何使用 hue-oozie 设计 distcp 作业

我正在尝试在hueoozie浏览器中设置distcp作业。不确定在哪里提供的参数是什么?hadoopdistcphdfs://nn1:8020/source/firsthdfs://nn1:8020/source/second哪个xml应该是job.xml以及参数值是什么? 最佳答案 Hue自带例子,你看过DisCo的吗?(在您的安装或demo.gethue.com中)。请注意,新编辑器(Hue3.8+)中的Distcp操作更易于使用。 关于hadoop-如何使用hue-oozie设计d

java - 错误 Livy Spark Server hue 3.9

我在具有HDP2.3的5台主机的集群上安装了hue3.9。我的Ambari版本是2.1.2。问题是Hue初始设置屏幕显示:SparkTheappwillnotworkwithoutarunningLivySparkServer之前出现了几个问题,但我必须解决它们。关注此主题Errorinrunninglivysparkserverinhue和这个网站http://gethue.com/new-notebook-application-for-spark,我尝试了几件事,但是当我以root用户启动livy-spark时,出现以下错误:[root@m1bin]#/usr/local/hue

regex - 使用空格分隔符使用 hue 界面创建 Hive 表

在hue-hive接口(interface)中使用文件创建表时,我们必须指定一个分隔符。(制表符、空格、逗号等)。但是我的文件由一个或多个空格分隔。如何指定分隔符以一个或多个空格分隔。 最佳答案 您可以通过这种方式使用正则表达式作为分隔符来创建表格:数据,把数据放到hdfs中1234abcd创建表://grammarforcreatetableCREATETABLEtest1(astring,bstring,cstring,dstring)ROWFORMATSERDE'org.apache.hadoop.hive.contrib.s

hadoop - HUE 查询编辑器给出 "dfs command"错误

对于下面的查询:错误:OKFAILED:ParseExceptionline1:0cannotrecognizeinputnear'dfs''-''cp'有人可以指导我吗? 最佳答案 不要将您的源网址和目标网址放在单引号之间。如下所示:dfs-cppath/to/your/sourcepath/to/your/destination 关于hadoop-HUE查询编辑器给出"dfscommand"错误,我们在StackOverflow上找到一个类似的问题: ht

hadoop - 从 Hue UI 执行的 Oozie 中的 Hive 操作失败

我正在执行ooziehive操作,它在HueUI中失败,Hive日志中出现以下异常:2016-07-1515:27:58,430ERRORorg.apache.thrift.server.TThreadPoolServer:Erroroccurredduringprocessingofmessage.java.lang.RuntimeException:org.apache.thrift.transport.TTransportException:UnsupportedmechanismtypePLAINatorg.apache.thrift.transport.TSaslServer

hadoop - 用于 sqoop 导入的 Oozie 工作流在 Amazon emr hue 中失败

我创建了一个oozie工作流来执行从mysql到hive系统的sqoop导入。我用于创建sqoop作业的Sqoop作业成功运行,但是当我尝试执行作业以从MySQL导入Hive时,它​​失败了。这里我附上了日志sqoop--hive-import(失败的sqoop操作所做的)分两步发生。首先将sqoop导入到HDFS目录(我的xml中引用了targetDir)。然后将此sqoop导入的输出移动并导入到Hive中。当我通过oozie运行我的sqoop作业时,我在targetDir中看到一个_SUCCESS文件,表明sqoop导入成功。只有后期(第2步)失败了。我以hue用户身份运行Oozi

hadoop - 无法使用 gethue/hue docker 镜像配置 HDFS 地址

我试图从gethue/hue获取Huedocker镜像,但它似乎忽略了我给他的配置,总是在本地主机上寻找HDFS,而不是我让他寻找的docker容器。这里是一些上下文:我正在使用以下dockercompose启动HDFS集群:hdfs-namenode:image:bde2020/hadoop-namenode:1.1.0-hadoop2.7.1-java8hostname:namenodeenvironment:-CLUSTER_NAME=davidovports:-"8020:8020"-"50070:50070"volumes:-./data/hdfs/namenode:/had

hadoop - CDH5 Hue Hive — 蜂蜡服务器 : Error opening session: Failed to validate proxy privilage of hue for admin

我通过Kerberos设置了一个具有安全性的Hadoop集群,Hive已经启用了Sentry。我对Hue-Hive(Beeswax)Editor有疑问。Hue无法在hive-server2日志中加载来自hive的数据和信息:2014-04-0311:36:39,814WARNthrift.ThriftCLIService(ThriftCLIService.java:GetSchemas(364))-Errorgettingcatalogs:org.apache.hive.service.cli.HiveSQLException:InvalidSessionHandle:SessionH

java - Hue 服务每隔几分钟就会死一次

我已经设置了hue以使用它在HDP2.0上创建oozie工作流我使用/etc/init.d/huestart启动Hue,然后登录到Hue网络服务器并工作了几分钟,然后服务器突然死机了。我已正确配置所有内容,但我不知道为什么Hue服务总是崩溃。Hue是不稳定的产品吗?我在哪里可以找到服务运行时的日志?sudo/etc/init.d/huestatussupervisorisstopped 最佳答案 Hue被数百个组织使用,并且在主要的Hadoop发行版中可用。崩溃的根本原因可能是由底层Hadoop服务引起的。您可以查看Hue日志以了解

hadoop - 在独立的 Hadoop 2.5.1 之上安装 Hue

我试图让Hue在独立的Hadoop2.5.1(Ubuntu14.04)上运行,但在运行服务器时遇到了问题。我遵循了本教程:http://gethue.com/how-to-build-hue-on-ubuntu-14-04-trusty/.当尝试wgethttp://localhost:8000我得到:hduser@ip-172-31-11-6:~/hue$wgetlocalhost:8000--2014-11-0100:40:45--http://localhost:8000/Resolvinglocalhost(localhost)...127.0.0.1Connectingtol