草庐IT

hadoop - CDH社区版5.7到5.13滚动升级

谁能告诉我如何将CDH从5.7滚动升级到5.13?我在Cloudera文档中找不到很多关于CDH社区版滚动升级的信息?编辑根据下面的讨论,我可以手动停止升级、升级(通过“一键安装”)和启动节点。在如下所示的集群中3个HbaseMaster(1个主用和2个备用)4个区域服务器4个数据节点1个主要和1个辅助名称节点3期刊节点4节点管理器3名资源经理(1名事件和2名备用)组件停止、升级和启动的顺序应该是什么?是不是像下面这样:-一个接一个地停止、升级和启动所有数据节点。一个接一个地停止、升级和启动区域服务器Stop,Upgrade&Start一个一个升级HBase备用节点停止、升级和启动辅助

java - 无法将 HBaseTestingUtility 与 CDH 5.7 一起使用

我正在尝试将HBaseTestingUtility与CDH5.7一起使用,如以下博客和github中所述http://blog.cloudera.com/blog/2013/09/how-to-test-hbase-applications-using-popular-tools/https://github.com/sitaula/HBaseTest我已经为CDH5.7修改了我的pom.xml,如下所示4.0.0HBaseTestTest0.0.1-SNAPSHOTTestProjectclouderahttps://repository.cloudera.com/artifacto

macos - Cloudera CDH Mac

我参加了一个将使用ClouderaCDH和Hadoop等的类(class)。类(class)的当前设置涉及使用带有VirtualBox的虚拟机。我只是想知道是否有更快、更有效的程序实现可供我使用。该程序可以以某种方式安装在我的本地环境中吗?(我使用的是带有OSHighSierra的2017MacbookPro) 最佳答案 您可以在您的MacOs中以所谓的伪分布式模式安装Hadoop、Spark、Hive、Pig。它是本地机器上的一个安装,其中“集群”的每个节点都是一个Java虚拟机。起点是Hadoop安装,您可以按照本教程进行操作:

hadoop - 使用 Cloudera Manager 安装 CDH : No such file or directory

使用CM安装并成功下载和分发所有包裹。但是,所有代理都不会在分发100%完成时解压包裹。检查日志,它说:[21/Nov/201809:53:04+0000]30292MainThreadparcelINFOExecutingcommand['chown','root:yarn',u'/opt/cloudera/parcels/CDH-6.0.1-1.cdh6.0.1.p0.590678/lib/hadoop-yarn/bin/container-executor'][21/Nov/201809:53:04+0000]30292MainThreadparcelINFOchmod:/opt

hadoop - 用于cloudera cdh3u2的LZO

带着一些困惑,我阅读了cloudera'sblogpostonlzooncloudera.由于一些许可bs,lzo压缩不是标准hadoop的一部分,好的。但是,是什么阻止了cloudera将其作为其发行版的一部分?还是这件事发生了?简而言之,如何在clouderacdh3u2上进行lzo压缩? 最佳答案 Butwhat'sstoppingclouderafrommakingitpartoftheirdistribution?Orhasthishappened?ApacheHadoop和ClouderaCDH都是released在相同

linux - CDH4 JAVA_HOME Ubuntu

我已经在CentOs上以伪分布式模式安装了CDH4,没有任何问题,但是当我在Ubuntu12.04上安装它时,我在设置JAVA_HOME环境变量时遇到了一些错误。我安装了JDK并在/etc/profile.d和~/bash.rc中使用以下行正确设置了JAVA_HOME:exportJAVA_HOME=/usr/local/java/latestexportPATH=${JAVA_HOME}/bin:$PATH我知道在这两个地方定义它是多余的,但显然在/etc/profile.d中设置它是行不通的。从我的用户那里,当我输入$echo$JAVA_HOME时,我得到:/usr/local/j

hadoop - CDH 5.1主机IP地址变更

我有一个包含3个节点的CDH5.1集群。我们使用clouderamanager自动安装来安装它。在我们将盒子移动到不同的网络并更改IP地址之前,它一直运行良好。我尝试了以下步骤1.Stoppedservice,cloudera-scm-server.2.Stoppedservice,cloudera-scm-agent3.Editthe/etc/cloudera-scm-agent/config.ini4.changetheserverhosttothenewip.5.restartservice,cloudera-scm-agent,cloudera-scm-server.不工作。然

hadoop - CDH 5.2 启动 NodeManager-Service 时出错 NodeManager 在 INITED 状态下失败;原因 : java. lang.NullPointerException

2014-11-2119:05:37,532INFOorg.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.LocalizedResource:Resourcehdfs://hadoop-master.nycloudlab.internal:8020/user/admin/.staging/job_1415362431963_0311/libjars/hbase-hadoop-compat.jar(->/yarn/nm/usercache/admin/filecache/1513/hbase-hadoop

hadoop - 能否将CDH3的HBase数据导出,导入CDH5的HBase?

我们有一个旧的基于CDH3的集群,我们将数据存储在该集群上的HBase中。我们还有全新的集群,其中安装了CDH5.2。我们想将HBase数据从CDH3集群迁移到CDH5集群。我想知道是否可以跨不同版本迁移数据?是否像使用distcp命令一样直接?在迁移数据之前和迁移过程中我需要采取哪些预防措施? 最佳答案 我认为对此没有简单的解决方案。我能想到的最简单的解决方案是使用一个MapReduce作业将每个HBase表导出到CDH3集群上的HDFS。一个DistCp作业将导出的HDFS数据从您的CDH3集群传输到CDH5集群上的HDFS,最

ubuntu - 权限被拒绝 : u'/opt/cloudera/parcel-cache/CDH-5. 3.3-1.cdh5.3.3.p0.5-precise.parcel.part'

我正在尝试安装具有3个节点的hadoopcloudera集群,所有这些节点都是ubuntu12.04机器。为此,我做了以下事情。我已经在所有机器上创建了hduser,并通过以下命令授予它root权限。sudoaddgrouphadoopsudoadduser--ingrouphadoophdusersudoadduserhdusersudosudosuhduser然后在所有机器上通过以下命令为无密码ssh生成无密码key。机器详细信息:master-1ip:192.168.0.101slave-1ip:192.168.0.102slave-2ip:192.168.0.103命令:ssh