草庐IT

cloudera-scm-agent

全部标签

hadoop - Cloudera CDH4 : Can't add a host to my cluster because canonical name is not consistent with hostname

我正在使用Ubuntu12.04LTS在4节点集群上安装CDH4。我能够安装cloudera管理器并在主机上启动单节点集群。但是,一旦我添加了一个新主机,CM就会说它运行状况不佳并抛出以下错误:“从Java进程检查时,此主机的主机名和规范名称不一致。”我修改了master和所有主机上的/etc/hosts的内容,以包含IP地址,后跟每台机器的FQDN。我是否还需要设置一个DNS服务器才能完成这项工作? 最佳答案 您不一定需要设置DNS服务器才能使其正常工作,但正向和反向DNS必须明确匹配Hadoop才能正常运行。Hadoop操作书有

apache - 带 LDAP 的 Cloudera Sentry - 无法将用户添加为 Sentry 管理员

背景:默认情况下,Sentry服务将用户hive、hue和impala作为哨兵管理员。这与ClouderaManager(CM)sentry.service.admin.group上的属性有关。我想添加一个拥有我的用户帐户的用户或组,这样我就可以成为哨兵管理员。当前环境:Cloudera5.4.7与CM用于CDH、Hive和Sentry的Postgres数据库哨兵版本1.4问题:我已经集成了OpenLDAP,因此可以通过LDAP用户和密码凭据完成Beeline身份验证。在LDAP集成到HiveServer2之前,我使用root作为Sentry管理员,(Beeline在没有LDAP的情况

hadoop - 无法连接到 Cloudera Manager,未监听端口 7180

如果有人帮助我在AWSEC2上运行cloudera管理器,我将不胜感激。这是我的第一次安装,我的目标是使用AWS免费套餐启动一些节点,并在Hadoop集群和cloudera分布上进行一些培训。我在AWSEC2上使用RedHatRHEL7.2镜像。我正在按照此处的说明进行操作...ClouderaManagerinstallation我已经安装了clouderamanagerOK,然后进入邀请您使用浏览器登录到clouderamanager服务器的屏幕。但这就是问题的开始。该应用程序似乎未在端口7180上监听,因此无法通过网络从另一台计算机进行连接。我什至无法在服务器上进行本地连接,但该

hadoop - 在 Cloudera Hadoop 上设置 Lzo 时无法加载 native-lzo 库

我只是按照Cloudera文档中的步骤操作,在集群上安装了GPLExtrasParcel,并通过ClouderaManager配置了HDFS服务。但是尝试读取HDFS上的.lzo文件时出现错误:$hadoopfs-text/tmp/Lzo/log.txt.lzoINFOlzo.GPLNativeCodecLoader:LoadednativegpllibraryWARNlzo.LzoCompressor:java.lang.NoSuchFiledError:lzoCompressLevelFuncERRORlzo.LzoCodec:Failedtoload/initializenati

hadoop - 无法连接到服务器 : quickstart. cloudera/10.0.2.15:8032

[cloudera@quickstart~]$sqoopimport-connectjdbc:mysql://localhost/test-usernameroot-P-tabletransactions-m1执行上述命令时,出现以下异常。Warning:/usr/lib/sqoop/../accumulodoesnotexist!Accumuloimportswillfail.Pleaseset$ACCUMULO_HOMEtotherootofyourAccumuloinstallation.18/02/1002:06:16INFOsqoop.Sqoop:RunningSqoopve

hadoop - Cloudera/Hive - 主机名更改后无法访问表

我创建了一个Cloudera集群并从OracleDB导入了一些示例测试文件。但过了一会儿,我不得不更改节点的主机名。我按照cloudera网站中提到的指南进行操作,一切正常。但是当我尝试访问我之前创建的表(同时使用hive和impala)时,出现以下错误:获取结果遇到以下错误:java.io.IOException:java.lang.IllegalArgumentException:java.net.UnknownHostException:[旧主机名]然后我在同一个数据库下创建了另一个表(使用Hue>Metastore表),我可以毫无问题地访问在新主机名下创建的这些新表。谁能解释一

r - 在 Cloudera CDH4 上编译 R 包时 GCC 出错

我正在尝试在Cloudera的CDH4HadoopVM上安装RHadoop。RHadoop是一个通过R编程接口(interface)使用Hadoop的框架。安装RHadoopR包“rmr”的先决条件之一是另一个名为Rcpp的R包,它用于从R调用C++代码。当我尝试安装该包时,出现以下错误。我联系了Rcpp和RHadoop社区,他们都说这是一个GCC问题。当我尝试更新或重新安装GCC时,我得到“软件包gcc-4.4.6-4.e16.x86_64已安装且为最新版本,无需执行任何操作。”有什么建议吗?这是错误(来自R命令行)。>install.packages("Rcpp")Installi

hadoop - Cloudera CDH VM 默认 HADOOP_HOME 位置

ClouderaCDH4VM中的默认HADOOP_HOME位置是什么。echo$HADOOP_HOME返回空白。 最佳答案 /usr/lib/hadoop是CDH4中的默认HADOOP_HOME。关于弃用,HADOOP_PREFIX似乎是HADOOP_HOME的替代品:$HADOOP_HOMEisdeprecated我相信HADOOP_MAPRED_HOME仅用于mapreduce基础设施,如果您直接使用HDFS,那么您可能需要HADOOP_PREFIX。 关于hadoop-Cloude

java - 为 Cloudera 升级 Java 版本有多安全?

我有一个运行ClouderaStandard4.7.3和CDH4.5以及Java1.6的cloudera集群。根据ClouderaDocumetation这些版本支持java1.7。我想知道这次升级是否安全,或者是否存在潜在问题? 最佳答案 我们将集群升级到java1.7,M/R作业和Hive作业都没有任何问题 关于java-为Cloudera升级Java版本有多安全?,我们在StackOverflow上找到一个类似的问题: https://stackover

java - 需要协助运行 Cloudera 提供的 WordCount.java

大家好,我正在尝试运行Cloudera提供的WordCount.java示例。我运行了下面的命令,得到了我放在命令下面的异常。那么你对如何进行有什么建议吗?我已经完成了cloudera提供的所有步骤。提前致谢。hadoopjar~/Desktop/wordcount.jarorg.myorg.WordCount~/Desktop/input~/Desktop/output错误:ERRORsecurity.UserGroupInformation:PriviledgedActionExceptionas:root(auth:SIMPLE)cause:org.apache.hadoop.m