草庐IT

cloudera-quickstart-vm

全部标签

hadoop - 切换一个包含cloudera hadoop/hdfs/hbase数据的磁盘

我们有一个基于单个服务器上的单个节点的Cloudera5安装。在集群上添加2个额外节点之前,我们想使用新磁盘增加分区的大小。我们安装了以下服务:yarn有1个NodeManager、1个JobHistory和1个ResourceManager具有1个数据节点、1个主节点和1个辅助节点的hdfs具有1个主服务器和1个区域服务器的hbase拥有1个服务器的动物园管理员所有数据目前都安装在一个分区上。将收集的数据数量增加了,因此我们需要使用另一个磁盘来存储所有信息。所有数据都在挂载到文件夹/dfs的分区下工作分区是:df-hhadoop-dfs-分区119G9.8G103G9%/dfsdf-

hadoop - 在 Cloudera VM 中将数据从 HDFS 加载到 Hive Table

当使用ClouderaVM时,您如何访问HDFS中的信息?我知道没有到HDFS的直接路径,但我也不知道如何动态访问它。通过HiveCLI创建Hive表后,我尝试从位于HDFS中的文件加载一些数据:loaddatainpath'/test/student.txt'intotablestudent;但是我得到了这个错误:FAILED:SemanticExceptionLine1:17Invalidpath''/test/student.txt'':Nofilesmatchingpathhdfs://quickstart.cloudera:8020/test/student.txt我还尝试将

hadoop - Cloudera CDH4 : Can't add a host to my cluster because canonical name is not consistent with hostname

我正在使用Ubuntu12.04LTS在4节点集群上安装CDH4。我能够安装cloudera管理器并在主机上启动单节点集群。但是,一旦我添加了一个新主机,CM就会说它运行状况不佳并抛出以下错误:“从Java进程检查时,此主机的主机名和规范名称不一致。”我修改了master和所有主机上的/etc/hosts的内容,以包含IP地址,后跟每台机器的FQDN。我是否还需要设置一个DNS服务器才能完成这项工作? 最佳答案 您不一定需要设置DNS服务器才能使其正常工作,但正向和反向DNS必须明确匹配Hadoop才能正常运行。Hadoop操作书有

apache - 带 LDAP 的 Cloudera Sentry - 无法将用户添加为 Sentry 管理员

背景:默认情况下,Sentry服务将用户hive、hue和impala作为哨兵管理员。这与ClouderaManager(CM)sentry.service.admin.group上的属性有关。我想添加一个拥有我的用户帐户的用户或组,这样我就可以成为哨兵管理员。当前环境:Cloudera5.4.7与CM用于CDH、Hive和Sentry的Postgres数据库哨兵版本1.4问题:我已经集成了OpenLDAP,因此可以通过LDAP用户和密码凭据完成Beeline身份验证。在LDAP集成到HiveServer2之前,我使用root作为Sentry管理员,(Beeline在没有LDAP的情况

hadoop - 无法连接到 Cloudera Manager,未监听端口 7180

如果有人帮助我在AWSEC2上运行cloudera管理器,我将不胜感激。这是我的第一次安装,我的目标是使用AWS免费套餐启动一些节点,并在Hadoop集群和cloudera分布上进行一些培训。我在AWSEC2上使用RedHatRHEL7.2镜像。我正在按照此处的说明进行操作...ClouderaManagerinstallation我已经安装了clouderamanagerOK,然后进入邀请您使用浏览器登录到clouderamanager服务器的屏幕。但这就是问题的开始。该应用程序似乎未在端口7180上监听,因此无法通过网络从另一台计算机进行连接。我什至无法在服务器上进行本地连接,但该

hadoop - 在 Cloudera Hadoop 上设置 Lzo 时无法加载 native-lzo 库

我只是按照Cloudera文档中的步骤操作,在集群上安装了GPLExtrasParcel,并通过ClouderaManager配置了HDFS服务。但是尝试读取HDFS上的.lzo文件时出现错误:$hadoopfs-text/tmp/Lzo/log.txt.lzoINFOlzo.GPLNativeCodecLoader:LoadednativegpllibraryWARNlzo.LzoCompressor:java.lang.NoSuchFiledError:lzoCompressLevelFuncERRORlzo.LzoCodec:Failedtoload/initializenati

hadoop - 无法连接到服务器 : quickstart. cloudera/10.0.2.15:8032

[cloudera@quickstart~]$sqoopimport-connectjdbc:mysql://localhost/test-usernameroot-P-tabletransactions-m1执行上述命令时,出现以下异常。Warning:/usr/lib/sqoop/../accumulodoesnotexist!Accumuloimportswillfail.Pleaseset$ACCUMULO_HOMEtotherootofyourAccumuloinstallation.18/02/1002:06:16INFOsqoop.Sqoop:RunningSqoopve

hadoop - Cloudera/Hive - 主机名更改后无法访问表

我创建了一个Cloudera集群并从OracleDB导入了一些示例测试文件。但过了一会儿,我不得不更改节点的主机名。我按照cloudera网站中提到的指南进行操作,一切正常。但是当我尝试访问我之前创建的表(同时使用hive和impala)时,出现以下错误:获取结果遇到以下错误:java.io.IOException:java.lang.IllegalArgumentException:java.net.UnknownHostException:[旧主机名]然后我在同一个数据库下创建了另一个表(使用Hue>Metastore表),我可以毫无问题地访问在新主机名下创建的这些新表。谁能解释一

r - 在 Cloudera CDH4 上编译 R 包时 GCC 出错

我正在尝试在Cloudera的CDH4HadoopVM上安装RHadoop。RHadoop是一个通过R编程接口(interface)使用Hadoop的框架。安装RHadoopR包“rmr”的先决条件之一是另一个名为Rcpp的R包,它用于从R调用C++代码。当我尝试安装该包时,出现以下错误。我联系了Rcpp和RHadoop社区,他们都说这是一个GCC问题。当我尝试更新或重新安装GCC时,我得到“软件包gcc-4.4.6-4.e16.x86_64已安装且为最新版本,无需执行任何操作。”有什么建议吗?这是错误(来自R命令行)。>install.packages("Rcpp")Installi

hadoop - Cloudera CDH VM 默认 HADOOP_HOME 位置

ClouderaCDH4VM中的默认HADOOP_HOME位置是什么。echo$HADOOP_HOME返回空白。 最佳答案 /usr/lib/hadoop是CDH4中的默认HADOOP_HOME。关于弃用,HADOOP_PREFIX似乎是HADOOP_HOME的替代品:$HADOOP_HOMEisdeprecated我相信HADOOP_MAPRED_HOME仅用于mapreduce基础设施,如果您直接使用HDFS,那么您可能需要HADOOP_PREFIX。 关于hadoop-Cloude