草庐IT

CLOUDERA

全部标签

hadoop - Cloudera manager - hadoop安装失败

尝试安装ClouderaManager。在hadoop主机中的步骤自动安装失败。Error:InstallingJDKpackage...BEGINyuminfojdkLoadedplugins:fastestmirrorLoadingmirrorspeedsfromcachedhostfile*base:archive.cs.uu.nl*extras:archive.cs.uu.nl*updates:mirror.fraunhofer.dehttp://archive.cloudera.com/redhat/cdh/3/repodata/repomd.xml:[Errno4]IOEr

hadoop - Cloudera蜂蜡服务器和 hive 服务器

我有一个关于clouderacdh4分发上下文中提到的两个服务器的基本问题这两个是否可以互换/替换,例如您可以运行蜂蜡来代替hive服务器吗?我正在尝试使用thrift客户端进行连接,但在我的设置中,只有蜂蜡在运行,而不是hive服务器。在这种情况下,我可以连接到蜂蜡服务器吗? 最佳答案 HiveServer是默认进程,而Beeswax是一个较新的进程,旨在更好地支持并发并使用Kerberos提供身份验证。您应该运行其中之一。是的,您绝对应该能够使用Thrift连接到beeswax。您可以找到Beeswax和Hive服务器的客户端h

hadoop - Cloudera CDH 上的 Impala "Could not create logging file: Permission denied"

我在CDH4.2.0-1.cdh4.2.0.p0.10集群上的ClouderaManager4.5中通过包裹安装了Impala。当我尝试启动服务时,它在所有节点上都失败并显示此消息perl-pi-e's#{{CMF_CONF_DIR}}#/run/cloudera-scm-agent/process/800-impala-IMPALAD#g'/run/cloudera-scm-agent/process/800-impala-IMPALAD/impala-conf/impalad_flags'['impalad=impalad']'exec/opt/cloudera/parcels/I

hadoop - Cloudera Hadoop MapReduce 错误 : Task process exit with nonzero status of 65

我有PentahoMapReduce作业(基本上是Java作业),它将HBase数据作为map输入。工作流非常适合少量数据(例如100行数据),但在几十万条记录上运行时会失败。两个映射器作业被提交到集群,它们正在做简单的数据聚合(大约400000行在两个HBase区域中分开)。它接缝任务无法在600秒内报告其状态,这是由mapred-site.xml中的mapred.task.timeout设置规定的。我不确定如何在Hadoop的Cloudera4.1.4发行版中更改此设置?同样在以下错误日志中,您可以看到一些其他错误:MetaVERSION="1".JobJOBID="job_201

hadoop - 无法在 Cloudera Manager 中启动 HBase

在我的设置中,由于电源中断,我的虚拟机在重新启动所有虚拟机后进入停机状态我无法启动Hbase,所有其他服务都可以重新启动/停止/启动,但在CM的UI中在hbaseACTIONS选项卡中,所有选项都被隐藏了..以下是我的hbasemaster日志,现在处于退出模式6:29:05.880AMERRORorg.apache.hadoop.hbase.zookeeper.RecoverableZooKeeperZooKeeperexistsfailedafter3retries6:29:05.880AMWARNorg.apache.hadoop.hbase.zookeeper.ZKUtilhc

hadoop - 如何将DataNode添加到Cloudera hadoop

我正在尝试向我现有的单个数据节点添加一个数据节点。由于我的Unix服务器无法访问Internet,ClouderaManager无法执行安装,因为它会抛出以下错误。是否有其他CLI方法来添加数据节点而不是CM?BEGINyuminfojdkLoadedplugins:product-id,subscription-managerUpdatingRedHatrepositories.http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4.7.2/repodata/repomd.xml:[Errno14]PYCURLERROR6-"Coul

hadoop - 使用 cloudera 管理器部署 hdfs core-site.xml

我正在尝试使用cloudera管理器(CDH5b2)将lzo支持添加到我的配置文件中。如果我将io.compression.codecs添加到服务范围的hdfs配置中,并部署配置文件,/etc/hadoop/conf.cloudera.hdfs/core-site.xml现在包含新值。但是,/etc/hadoop/conf.cloudera.yarn/core-site.xml有更高的优先级(update-alternatives--displayhadoop-conf),当我开始MR作业时,不使用hdfscore-site.xml值。显然,我可以简单地手动修改yarncore-sit

linux - 为什么 Cloudera Manager 报告磁盘已满?

ClouderaManager报告我的Hadoop集群的某些节点上的磁盘已满,但是使用df-h手动检查可用空间时,每个磁盘几乎都是半空的。这是一个错误还是我需要发出一些其他命令来检查实际可用空间?ClouderaManager在进行健康检查时使用什么命令? 最佳答案 我解决了这个问题。属性dfs.datanode.du.reserved设置为100GB,因此Hadoop无法使用该空间量(对于每个卷)来存储新的HDFSblock。 关于linux-为什么ClouderaManager报告磁

hadoop - 在支持 64 位架构的 Windows 32 中安装 Cloudera VM

我有一个32位Windows操作系统。但是我的系统支持64位架构,我可以这么说,因为当我从VMware网站下载并运行VMWare处理器检查64位兼容性工具时,它显示“此主机能够在此VMWare产品下运行64位guest操作系统”'.那么,使用这个64位架构,我是否能够安装和使用ClouderaVM,然后安装和使用hadoop? 最佳答案 根据评论,您可以继续使用64位,没有任何问题,hadoop将启动并运行。但是,您始终可以返回并下载32位并导入您的VMWare,然后同时导入64位和32位。如果万一您遇到64位的任何问题,那么您可以

hadoop - 如何自动配置 Cloudera Manager?

我已经创建了一些脚本,使我能够自动执行绝大多数CDH5和ClouderaManagerv5的安装。问题是每次启动集群时,我都必须通过GUI向导配置cloudera管理器。如何配置cloudera管理器以避免GUI设置向导? 最佳答案 ClouderaManager具有完整的RESTAPI,允许您以编程方式执行任何可以通过UI执行的操作。API详细信息在这里:http://cloudera.github.io/cm_api/ 关于hadoop-如何自动配置ClouderaManager?,