草庐IT

hadoop - 如何防止 CDH 中的 Hue 在重启时清除作业历史记录?

我已经安装了CDH5.5.1和Hue、Hadoop、Spark、Hive、Oozie、Yarn和ZooKeeper。当我运行Spark作业或MapReduce作业时,Hue会在作业历史记录中显示一个问题。问题是,当我重新启动CDH服务(不是物理节点)时,它会删除重新启动之前的所有作业历史记录。在Hadoop上,我怀疑有几个文件包含有关任务的信息,并且可能是保存作业信息的文件。他们的hadoop路径是:/tmp/logs/user/logs//user/history/done/2016/我在ClouderaManager配置页面、Hue配置页面和一些配置文件中都找过,都没有找到。我不知

hadoop - Hive 查询 cli 有效,同样通过 hue 失败

我对hue(版本3.10)有一个奇怪的问题。我有一个非常简单的配置单元查询:droptableifexistscsv_dump;createtablecsv_dumprowformatdelimitedfieldsterminatedby','linesterminatedby'\n'location'/user/oozie/export'asselect*fromsample;在配置单元编辑器中运行此查询有效将此查询作为oozie工作流命令行运行是可行的使用直线运行此查询命令行是可行的通过来自配置单元的oozie工作流运行此查询失败在这种情况下失败意味着:drop和create没有运

hadoop - 在 Apache Hadoop 和 Hive (Redhat) 上安装 Hue

我有一个正在运行的Hadoop2.7和Hive2.0.1。我正在尝试安装Hive编辑器,以便我可以轻松编写HiveQL查询。因此,我下载并构建了Hue3.10。我将其配置为与HDFS和Hive一起使用(我不确定它们是否正确)。当我启动Hue时,它​​会检查配置,我在Hue的服务器日志中看到一些与webhdfs相关的错误[27/Jul/201623:08:55-0700]webhdfsERRORFailedtodeterminesuperuserofWebHdfsathttp://40.221.1.44:50070/webhdfs/v1/:..........[27/Jul/201623

hadoop - 无法在 HUE oozie 中运行 spark 作业。异常 : "datanucleus-api-jdo-3.2.1.jar does not exist"

我想知道的是spark如何/在哪里挑选所需的jar。文件:/mnt/md0/yarn/nm/usercache/kylin/appcache/application_1468506830246_161908/container_1468506830246_161908_01_000001/datanucleus-api-jdo-3.2.1.jar不存在。--num-executors30--executor-memory18g--executor-cores15--driver-memory2g--fileshdfs:///jobs/kylin/hive-site.xml--jarsd

hadoop - 使用 HUE 创建 Hive 表

我安装了一个单节点Cloudera来开始学习这项技术。现在,我正在尝试通过CSV文件在HUE上创建一个表。当我尝试这样做时,正在创建表但没有任何数据,只有列结构,我收到以下错误:Errorwhilecompilingstatement:FAILED:SemanticExceptionLine1:17Invalidpath''/user/josholsan/ic_data/_glucosa.csv'':Nofilesmatchingpathhdfs://server_name:8020/user/josholsan/ic_data/_glucosa.csv错误说没有文件匹配这个路径,但是

hadoop - 如何配置 HUE 连接到远程 Hive 服务器?

我正在尝试使用HUEBeeswax连接我公司的Hive数据库。首先,是否可以使用安装在我的mac上的HUE与远程Hive服务器连接?如果是这样,我应该如何找到在我们的私有(private)服务器上运行的Hive服务器的地址?我唯一能做的就是输入“hive”并在hiveshell中放入一些sql查询。我已经安装了HUE,但不知道如何将它连接到远程Hive服务器。任何提示将不胜感激。 最佳答案 如果您只需要一个到Hive的桌面连接,您只需要一个JDBC客户端,而不需要像Hue这样的完整Web应用程序。无论如何,HiveCLIisdepr

hadoop - HUE 3在HDP 2.6沙箱上安装和配置

我试图在hdp上安装hue3,我集成了服务hue,它可以通过ambari接口获得。我正在使用url中提到的步骤:github.com/eshareditor/ambari-hue-service,gethue.com/hadoop-hue-3-on-hdp-installation-tutorial/但它不起作用。我正在寻找步骤(配置)集成色调沙盒hdp2.6。谢谢 最佳答案 您可以检查latestguideonHDP3并手动调整ambari没有做的事情。 关于hadoop-HUE3在H

django - 从 Tarball 失败 Django 错误安装 Hue?

运行PREFIX=/home/huemakeinstall后接近尾声通过tarball安装hue时,出现以下错误。我不确定发生了什么。我也安装了先决条件。Usingthisguide失败的命令:/home/hue/hue/build/env/bin/huemakemigrations--noinput错误:Traceback(mostrecentcalllast):File"/home/hue/hue/build/env/bin/hue",line11,inload_entry_point('desktop','console_scripts','hue')()File"/home/h

hadoop - 从 HUE 使用 JAR

我有获取IP作为参数并返回csv的jar文件:Country,Organization即myjar.jar8.8.8.8将返回Country,OrganizationUnitedStates,Google我有带IP地址的Hadoop表,我想用我的表中的IP调用我的JAR,并从我的JAR中获取结果,这可能吗?我将HUE与Hive/Impala编辑器一起使用并做了:addjarHDFS:///PATH/TO/MY/JAR.JAR现在我不知道如何使用我的jar有什么建议吗? 最佳答案 您需要通过定义一个函数来说明要使用JAR中的哪个类。C

hadoop - 在 hue 中使用 oozie 工作流执行 MapReduce 作业给出错误的输出

我正在尝试使用hue中的oozie工作流执行MapReduce作业。当我提交作业时,oozie成功执行但我没有得到预期的输出。似乎从未调用过mapper或reducer。这是我的workflow.xml:${jobTracker}${nameNode}mapred.input.dir/user/root/jane/inputPathmapred.output.dir/user/root/jane/outputPath17mapred.mapper.classMapReduceGenerateReports.Mapmapred.reducer.classMapReduceGenerate