草庐IT

Cloudera-CDH

全部标签

Hadoop 安装和 Cloudera 管理器 - SSH

关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗?Updatethequestion所以它是on-topic用于堆栈溢出。关闭9年前。Improvethisquestion抱歉,这是我在几个小时内就同一主题发表的第二篇文章。只是尝试使用Cloudera的免费安装来安装Hadoop。我是Linux和Hadoop的新手。到了可以登录ClouderaManager的地步。第一次登录,提示创建集群。不确定我应该放在这里什么,但localhost似乎已被识别,我可以继续。我接受了SelectRepository屏幕上的所有默认设置。然后我进入SSH凭据屏幕。在这里我不知道我

hadoop - CDH4 主要用于 YARN 吗?

我有几个关于CDH4的问题或困惑。我在这里发帖是因为我没有得到关于我的问题的任何具体信息。CDH4是为了推广YARN吗?我尝试使用tarball使用CDH4.3.0设置MapReduce1。我终于做到了,但它是迂回而痛苦的。而YARN的设置很简单。有人在生产中使用YARN吗?Apache明确表示YARN仍处于alpha版本,不适合生产。在这种情况下,为什么Cloudera以CDH4YARN为中心?Cloudera是否在生产中支持YARN?如果问题不合适,我们深表歉意。这就是tarball解压的样子。我关注了几个links进行配置,但我对必须完成的方式不满意CDH4.3.0tarball

hadoop - 使用 Kerberos 访问 Cloudera Hadoop 会出现 TokenCache 错误 : Can't get Master Kerberos principal for use as renewer

我正在尝试从MacBookProOSX10.8.4访问ClouderaHadoop设置(HIVE+Impala)。我们在Linux服务器上安装了ClouderaCDH-4.3.0。我已将CDH-4.2.0tarball提取到我的MacBookPro。我已经设置了正确的配置和Kerberos凭据,以便像“hadoop-fs-ls/”这样的命令可以工作并且HIVEshell可以启动。但是,当我执行“显示数据库”命令时,出现以下错误:>hive>showdatabases;>Failedwithexceptionjava.io.IOException:java.io.IOException:

jdbc - 使用CDH4+Cloudera Manager时JDBC驱动放在哪里?

我试图让Sqoop2(CDH4.4.0)识别JDBCjar,但无论我把它们放在哪里,它们似乎都没有被识别。我听从了建议:here,here,并问了一个类似的问题here.有人可以对此提供明确的答案吗? 最佳答案 我强烈建议您遵循Hadoop发行版及其相关版本的官方安装指南。看来您使用的是CDH4.4.0,但正在查看CDH4.2.1安装说明。而在CDH4.2.1中,JDBC驱动程序jar文件应在/usr/lib/sqoop2中,自CDH4.3.0起,它们应在/var/lib/sqoop2中(documentation)。

java - 从 eclipse 运行 hadoop(Cloudera-2.0.0-cdh4.4.0) 作业时出错?

您好,我正在从eclipse运行hadoopwordcount示例,但出现以下错误:-13/11/2422:17:08DEBUGipc.Client:IPCClient(2010005445)connectiontolocalhost/127.0.0.1:8020fromharindersending#1213/11/2422:17:08DEBUGipc.Client:IPCClient(2010005445)connectiontolocalhost/127.0.0.1:8020fromharindergotvalue#1213/11/2422:17:08DEBUGipc.Proto

Hadoop - Cloudera MRV1 集群规划 - 理想集群的最小节点数是多少,它看起来如何?

我手动安装了一个具有以下配置的三节点集群:Master/SlaveNode0-NameNode,SecondaryNameNode,JobTracker,HMaster,DataNode,TaskTracker,HRegionServer,HiveMetaStore,DatabaseforHive/Sqoop,HiveServer2,HCatalog,OozieServer,Zookeeper,Oozie-client,Hive-client,pig-client,M/Rclienttools,SqoopSlaveNode1-DataNode,TaskTracker,HRegionSe

hadoop - Hadoop什么时候开始shuffle

我对洗牌何时开始有疑问。假设我有2个映射器和1个缩减器。每个映射器将生成输出map1和map2。这个map1和map2存储在各自datanode的临时磁盘中。现在reducer应该等待map1和map2的输出?换句话说,什么时候开始洗牌?一旦map1完成还是必须等待map2也完成?我正在收听reducer的改组流量,但我找不到任何流量,但控制台输出显示已经完成了70%(大约)的减少。14/12/1817:45:55INFOmapred.JobClient:map97%reduce22%14/12/1817:45:58INFOmapred.JobClient:map98%reduce22

hadoop - Cloudera Manager CDH Parcel 分发错误

我正在尝试使用CentOS6机器在Rackspace云上安装Hadoop集群。从cloudera管理器创建新集群时出现以下错误。有人可以帮忙吗。集群安装安装选定的包裹正在将选定的包裹下载并安装到集群中的所有主机上。CDH5.3.2-1.cdh5.3.2.p0.103个错误Errorwhendistributingtovm-cdh-cluster-3:[Errnosocketerror][Errno-2]Nameorservicenotknown.Errorwhendistributingtovm-cdh-cluster-1:[Errnosocketerror][Errno-2]Name

hadoop - Cloudera Director Server AWS 快速入门

我正在关注ClouderaAWS快速入门https://s3.amazonaws.com/quickstart-reference/cloudera/hadoop/latest/doc/Cloudera_EDH_on_AWS.pdf我正在使用选项2使用ClouderaDirectorServer。我按照指示使用./bin/cloudera-director-server启动服务器,然后系统提示我“监听端口7189上的连接”。由于没有提示,我不确定如何运行下一步。./bin/cloudera-directorbootstrap-remoteaws.simple.conf--ip.remo

java - Hadoop 纱作业 : Wrong FS

我用一个vagrantbox安装了一个cloudera集群。启动以下示例时出现错误:hadoopjar/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jargrepinputoutput23'dfs[a-z.]+'我去/var/log/hadoop-yarn查看了日志。有几个日志文件,在yarn-yarn-nodemanager-cdh-master.log中,有如下stackstrace:2015-06-1711:42:42,398INFOSecurityLogger.org.apache.hadoop.ipc.Server:A