草庐IT

Cloudera-Manager-Installation

全部标签

hadoop - 如何在 Cloudera 中为 Hue 添加 jar 文件?

我在JSONserde表上运行SQL查询。它在HiveCLI中工作,但在Hue中失败并出现错误:Errorwhileprocessingstatement:FAILED:ExecutionError,returncode2fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask我猜是因为缺少jar文件;知道如何为Hue添加jar文件hive-hcatalog-core-1.2.1.jar吗? 最佳答案 将您的jar放在HDFS中,并使用ADDJARhdfs:///user/hive/lib/h

bash - 从 Cloudera Hadoop 中删除指定天数内的目录

我正在尝试编写一个bash脚本,它允许我在ClouderaHadoop中清理指定天数的目录。我考虑过将文件移动到临时目录,然后执行hdfsdfs-rm,但我无法将-mtime与hdfs结合使用Hadoop命令语法中的dfs-ls、-mv或-rm。我还考虑过-moveToLocal,但这不是一个选项。仅-copyToLocal或-get。任何建议将不胜感激。 最佳答案 试试这个(未测试)hadoopjar/opt/....../jars/search-mr-*-job.jarorg.apache.solr.hadoop.HdfsFin

hadoop - CLOUDERA 中的管道 (C++)

过去几个月我在Cloudera中使用Java工作。我想在我future的项目中使用C++。如果您能指导我如何在Hadoop上安装Pipes库,那就太好了。 最佳答案 您实际上不需要在服务器端安装任何其他东西。只需构建您的C++应用程序并像运行JavaHadoop客户端一样运行它。Thispost有一个很好的通过管道执行作业的基本示例。 关于hadoop-CLOUDERA中的管道(C++),我们在StackOverflow上找到一个类似的问题: https://

hadoop -/etc/hadoop/conf下的配置文件和/etc/hadoop/conf.cloudera.HDFS和/etc/hadoop/conf.cloudera.YARN下的配置文件有什么区别

我有cloudera5.7,我也有ClouderaManager。在目录/etc/hadoop下,我看到了三个子目录。/etc/hadoop/conf/etc/hadoop/conf.cloudera.HDFS//etc/hadoop/conf.cloudera.YARN/../conf/中的hadoop-env.sh不同于../conf.cloudera.HDFS/..../conf/中的core-site.xml也不同于../conf.cloudera.HDFS/..。../conf/下的hadoop-env.sh在YARN上有设置,而../conf.cloudera.HDFS下没

hadoop - Cloudera - 导入时的 Sqoop codegen 自定义 ORM 类

我是Cloudera环境的新手,我正在尝试使用Sqoop从RDBMS导入数据我需要在导入过程中对数据应用一些转换。具体来说,我需要在将某些字段存储到HadoopDFS之前对其进行加密。为此,我尝试使用codegen命令,它生成一个我可以修改的ORMJava类。假设我在MySQL数据库中有一个表“产品”,我想使用Sqoop将其导入HDFS并加密“品牌”字段。首先,我运行了这个命令:sqoopcodegen\--connectjdbc:mysql://localhost/test\--usernameusername--passwordpassword\--tableproducts这会在

hadoop - 使用cloudera hadoop UI自动化sqoop增量

有什么方法可以使用时间戳以外的列值自动执行sqoop导入。我试图在我的表中使用一列(ID)。但它没有用。下面是示例代码,我正在使用clouderahadoopUI来实现自动化。问题是最后一个值不会自动更新。import--connectjdbc:mysql://172.26.122.123:3306/books--usernamehadoop--password********--incrementalappend--check-columnid--last-value0--tableauthors--as-textfile--fields-terminated-by","--null

maven - Cloudera VM 上的 Apache Giraph - org.apache.hadoop 的 POM :hadoop-core:jar:2. 6.0 缺失,无依赖信息

我是Hadoop/Giraph和Java的新手。作为任务的一部分,我在其上下载了ClouderaQuickstartVM和Giraph。我正在使用这本书,名为“使用ApacheGiraph进行实用图形分析;作者:Shaposhnik、Roman、Martella、Claudio、Logothetis、Dionysios”,我尝试从中运行第111页上的第一个示例(TwitterFollowershipGraph)。尝试在集群2.6.0-mr1-cdh5.12.0上使用hadoop版本运行更改后的pom.xml文件时,请发现以下错误`[cloudera@quickstartfirst]$m

hadoop - 无法在端口 7180 上设置 cloudera manager web - 集群安装

我正在使用具有以下主机名的ubuntu本地计算机并尝试设置clouderaHadoopDistributionCDH5。chaithu@localhost:~$hostnamelocalhostchaithu@localhost:~$hostname-flocalhostchaithu@localhost:~$sshchaithu@localhostWelcometoUbuntu16.04.2LTS(GNU/Linux4.8.0-36-genericx86_64)*Documentation:https://help.ubuntu.com*Management:https://land

hadoop - 在cloudera上安装apache phoenix

我在cloudera上安装apachephoenix时遇到问题。我提到了http://crazyadmins.com/install-and-configure-apache-phoenix-on-cloudera-hadoop-cdh5/和许多其他采用相同方法的人。我的cloudera版本是5.5。我在运行命令时遇到错误:./psql.py:2181../examples/WEB_STAT.sql../examples/WEB_STAT.csv../examples/WEB_STAT_QUERIES.sqlorg.apache.phoenix.exception.PhoenixIOE

macos - Cloudera CDH Mac

我参加了一个将使用ClouderaCDH和Hadoop等的类(class)。类(class)的当前设置涉及使用带有VirtualBox的虚拟机。我只是想知道是否有更快、更有效的程序实现可供我使用。该程序可以以某种方式安装在我的本地环境中吗?(我使用的是带有OSHighSierra的2017MacbookPro) 最佳答案 您可以在您的MacOs中以所谓的伪分布式模式安装Hadoop、Spark、Hive、Pig。它是本地机器上的一个安装,其中“集群”的每个节点都是一个Java虚拟机。起点是Hadoop安装,您可以按照本教程进行操作: