草庐IT

vm-cdh-cluster

全部标签

hadoop - CDH(Cloudera Distribution for hadoop) 是开源的吗?

CDH(ClouderaDistributionforhadoop)是开源的还是商业的?非常感谢对此的任何意见。 最佳答案 "AllsoftwaredevelopedbyClouderaforCDHisreleasedwithanApache2.0license".换句话说,它是开源的。 关于hadoop-CDH(ClouderaDistributionforhadoop)是开源的吗?,我们在StackOverflow上找到一个类似的问题: https://s

ubuntu - 在 vmware 中从我的 ubuntu 运行 kafka 时无法识别的 VM 选项 '+UseCompressedOops'

我正在使用VMware使用ubuntu我已经在其中安装了hadoop单节点集群。然后我安装了zookeeper并运行了zookeeper。然后当我运行我的“Apachekafka”时它会抛出一个错误。无法识别的VM选项“+UseCompressedOops”无法创建Java虚拟机single@ubuntu:~/yoga/zookeeper-3.4.5/bin$./zkServer.sh开始默认启用JMX使用配置:/home/single/yoga/zookeeper-3.4.5/bin/../conf/zoo.cfg正在启动zookeeper...已启动single@ubuntu:~/

hadoop - oozie 中的配置单元操作失败(在 cloudera CDH 4.1.1 上)

当我使用oozieodCDH4.1.1运行配置单元脚本时运行失败:ErrorCodeJA018ErrorMessageorg/apache/hadoop/hive/cli/CliDriverDetailsPropertyValueExternalIdjob_201211281608_0112ExternalStatusFAILED/KILLEDDataNoneStarttimeSat,01Dec201203:02:37EndtimeSat,01Dec201203:03:07Id0000007-121128160850795-oozie-oozi-W@ExchangeRateTestRe

hadoop - CDH4 Hbase 使用 Pig ERROR 2998 java.lang.NoClassDefFoundError : org/apache/hadoop/hbase/filter/Filter

我在伪分布式模式下使用CDH4,我在同时使用HBase和Pig时遇到了一些问题(但两者都可以单独工作)。我正在逐步遵循这个不错的教程:http://blog.whitepages.com/2011/10/27/hbase-storage-and-pig/所以我的Pig脚本看起来像这样register/usr/lib/zookeeper/zookeeper-3.4.3-cdh4.1.2.jarregister/usr/lib/hbase/hbase-0.92.1-cdh4.1.2-security.jarregister/usr/lib/hbase/lib/guava-11.0.2.ja

hadoop - 使用主机系统上的客户端访问在 VM 中运行的 HBase

我尝试用客户端程序将一些数据写入hbaseHBase@Hadoop在Cloudera@ubuntu的预配置虚拟机中运行。客户端在托管虚拟机的系统上运行,并直接在虚拟机中运行客户端。所以现在我想用vm外的client访问vm上的server我正在使用NAT。为了能够访问HBaseMaster、HUE等服务器,在虚拟机上运行我在虚拟框中配置了端口转发:因此我可以访问HBaseMaster、HUE的概览站点。在我创建的虚拟机上针对服务器运行客户端hbase-site.xml内容:hbase.zookeeper.quorumlocalhosthbase.zookeeper.property.c

apache-spark - 有关 yarn-cluster 模式下 Spark 驱动程序(及其 YARN 容器)的故障转移过程如何工作的资源/文档

我试图了解在以集群模式部署Yarn时,SparkDriver是否是单点故障。因此,我想在这种情况下更好地了解有关SparkDriver的YARN容器的故障转移过程的内部结构。我知道Spark驱动程序将在Yarn容器内的SparkApplicationMaster中运行。如果需要,SparkApplicationMaster将向YARNResourceManager请求资源。但是我还没有找到足够详细的文档来说明在SparkApplicationMaster(和Spark驱动程序)的YARN容器发生故障时的故障转移过程。我试图找到一些详细的资源,这些资源可以让我回答与以下场景相关的一些问题

java - 如何更改 CDH 使用的 Java 版本

我目前在带有javajdk1.7的CentOS6.5上安装了CDH5,我正在尝试让CDH使用jdk1.8。我知道Java1.8不是推荐的CDH版本,但它只是一个测试集群,所以没什么大不了的。我已经使用RPM安装从Oracle网站安装了Java1.7和Java1.8,因此这两个版本的Java目前都在/usr/java下。使用ls-ld我的Java目录如下所示:/usr/java/default->/usr/java/latest/usr/java/jdk1.7.0_75/usr/java/jdk1.8.0_31/usr/java/latest->/usr/java/jdk1.8.0_31

hadoop - 无法启动 CDH4 辅助名称节点 : Invalid URI for NameNode address

我一直在尝试设置hadoop的CDH4安装。我有12台机器,标记为hadoop01-hadoop12,名称节点、作业跟踪器和所有数据节点都已正常启动。我能够查看dfshealth.jsp并看到它找到了所有数据节点。但是,每当我尝试启动辅助名称节点时,它都会出现异常:StartingHadoopsecondarynamenode:[OK]startingsecondarynamenode,loggingto/var/log/hadoop-hdfs/hadoop-hdfs-secondarynamenode-hadoop02.dev.terapeak.com.outExceptionint

hadoop - Cloudera CDH 中的 hadoop-examples* 和 hadoop-test* jar 在哪里?

我正在寻找能够运行与示例和测试jar关联的hadoop作业的jar文件。过去它们在/usr/lib/hadoop下,但现在显然不在了。感谢指点。注意:本题原为CDH4.2。但是一些答案包括更高版本的信息 最佳答案 find/-namehadoop-mapreduce-examples*.jar/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.0.0-cdh4.7.0.jar/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.

hadoop - 找不到带有 key dfs.encryption.key.provider.uri 的 uri 以在 CDH 5.4 的 HDFS 加密中创建 key 提供程序

CDH版本:CDH5.4.5问题:当使用HadoopCDH5.4中可用的KMS启用HDFS加密时,将文件放入加密区域时出错。步骤:Hadoop的加密步骤如下:创建key[成功][tester@master~]$hadoopkeycreate'TDEHDP'-providerkms://https@10.1.118.1/key_generator/kms-size128tdegrouphasbeensuccessfullycreatedwithoptionsOptions{cipher='AES/CTR/NoPadding',bitLength=128,description='null