草庐IT

cloudera-quickstart-vm

全部标签

linux - 如何在 VM box 中的 Ubuntu Linux 中安装 Hadoop 和 Hive?

我正在使用Windows7操作系统,我想学习Hive和Hadoop。所以我在MyVMBox中安装了Ubuntu13.04版本。当我选择下载Hadoop和Hive时,下面的URL有多个文件要下载你能帮我在Ubuntu框中安装Hive吗?还有其他步骤吗?你有任何步骤吗http://mirror.tcpdiag.net/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2-1.i386.rpmhadoop-1.1.2-1.i386.rpm.mdshadoop-1.1.2-1.x86_64.rpmhadoop-1.1.2-1.x86_64.rpm.mds

hadoop - Cloudera Hadoop MapReduce 错误 : Task process exit with nonzero status of 65

我有PentahoMapReduce作业(基本上是Java作业),它将HBase数据作为map输入。工作流非常适合少量数据(例如100行数据),但在几十万条记录上运行时会失败。两个映射器作业被提交到集群,它们正在做简单的数据聚合(大约400000行在两个HBase区域中分开)。它接缝任务无法在600秒内报告其状态,这是由mapred-site.xml中的mapred.task.timeout设置规定的。我不确定如何在Hadoop的Cloudera4.1.4发行版中更改此设置?同样在以下错误日志中,您可以看到一些其他错误:MetaVERSION="1".JobJOBID="job_201

hadoop - 无法在 Cloudera Manager 中启动 HBase

在我的设置中,由于电源中断,我的虚拟机在重新启动所有虚拟机后进入停机状态我无法启动Hbase,所有其他服务都可以重新启动/停止/启动,但在CM的UI中在hbaseACTIONS选项卡中,所有选项都被隐藏了..以下是我的hbasemaster日志,现在处于退出模式6:29:05.880AMERRORorg.apache.hadoop.hbase.zookeeper.RecoverableZooKeeperZooKeeperexistsfailedafter3retries6:29:05.880AMWARNorg.apache.hadoop.hbase.zookeeper.ZKUtilhc

java - CDH4.3 QuickStart 上 accumulo 1.4.3 helloworld 示例的问题

我正在尝试整理一个accumulo/clouderaquickstart。Accumulo正在运行,但我在尝试执行示例时遇到问题,即hellowworld。它似乎在寻找hadoop而不是accumulo类?以下是执行和错误消息。感谢您的帮助!./bin/accumuloorg.apache.accumulo.examples.simple.helloworld.InsertWithOutputFormat"instance"localhost:2181"username""password"hellotableThread"org.apache.accumulo.examples.si

hadoop - 如何将DataNode添加到Cloudera hadoop

我正在尝试向我现有的单个数据节点添加一个数据节点。由于我的Unix服务器无法访问Internet,ClouderaManager无法执行安装,因为它会抛出以下错误。是否有其他CLI方法来添加数据节点而不是CM?BEGINyuminfojdkLoadedplugins:product-id,subscription-managerUpdatingRedHatrepositories.http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4.7.2/repodata/repomd.xml:[Errno14]PYCURLERROR6-"Coul

hadoop - 使用 cloudera 管理器部署 hdfs core-site.xml

我正在尝试使用cloudera管理器(CDH5b2)将lzo支持添加到我的配置文件中。如果我将io.compression.codecs添加到服务范围的hdfs配置中,并部署配置文件,/etc/hadoop/conf.cloudera.hdfs/core-site.xml现在包含新值。但是,/etc/hadoop/conf.cloudera.yarn/core-site.xml有更高的优先级(update-alternatives--displayhadoop-conf),当我开始MR作业时,不使用hdfscore-site.xml值。显然,我可以简单地手动修改yarncore-sit

java - 如何使用hadoop api在vm上运行的hadoop机器上创建目录

我有一个创建目录的java客户端程序,但是当在我的本地机器上执行它创建目录的程序时,即使我已经将fs.defaultFS配置为与core-site.xml匹配的vmurl。这里是创建目录的示例程序。importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;publicclassMkdir{publicstaticvoidmain(Stringar[])throwsIOE

linux - 为什么 Cloudera Manager 报告磁盘已满?

ClouderaManager报告我的Hadoop集群的某些节点上的磁盘已满,但是使用df-h手动检查可用空间时,每个磁盘几乎都是半空的。这是一个错误还是我需要发出一些其他命令来检查实际可用空间?ClouderaManager在进行健康检查时使用什么命令? 最佳答案 我解决了这个问题。属性dfs.datanode.du.reserved设置为100GB,因此Hadoop无法使用该空间量(对于每个卷)来存储新的HDFSblock。 关于linux-为什么ClouderaManager报告磁

hadoop - 在支持 64 位架构的 Windows 32 中安装 Cloudera VM

我有一个32位Windows操作系统。但是我的系统支持64位架构,我可以这么说,因为当我从VMware网站下载并运行VMWare处理器检查64位兼容性工具时,它显示“此主机能够在此VMWare产品下运行64位guest操作系统”'.那么,使用这个64位架构,我是否能够安装和使用ClouderaVM,然后安装和使用hadoop? 最佳答案 根据评论,您可以继续使用64位,没有任何问题,hadoop将启动并运行。但是,您始终可以返回并下载32位并导入您的VMWare,然后同时导入64位和32位。如果万一您遇到64位的任何问题,那么您可以

hadoop - 如何自动配置 Cloudera Manager?

我已经创建了一些脚本,使我能够自动执行绝大多数CDH5和ClouderaManagerv5的安装。问题是每次启动集群时,我都必须通过GUI向导配置cloudera管理器。如何配置cloudera管理器以避免GUI设置向导? 最佳答案 ClouderaManager具有完整的RESTAPI,允许您以编程方式执行任何可以通过UI执行的操作。API详细信息在这里:http://cloudera.github.io/cm_api/ 关于hadoop-如何自动配置ClouderaManager?,