草庐IT

resource-management

全部标签

jdbc - 使用CDH4+Cloudera Manager时JDBC驱动放在哪里?

我试图让Sqoop2(CDH4.4.0)识别JDBCjar,但无论我把它们放在哪里,它们似乎都没有被识别。我听从了建议:here,here,并问了一个类似的问题here.有人可以对此提供明确的答案吗? 最佳答案 我强烈建议您遵循Hadoop发行版及其相关版本的官方安装指南。看来您使用的是CDH4.4.0,但正在查看CDH4.2.1安装说明。而在CDH4.2.1中,JDBC驱动程序jar文件应在/usr/lib/sqoop2中,自CDH4.3.0起,它们应在/var/lib/sqoop2中(documentation)。

hadoop - Cloudera Manager CDH Parcel 分发错误

我正在尝试使用CentOS6机器在Rackspace云上安装Hadoop集群。从cloudera管理器创建新集群时出现以下错误。有人可以帮忙吗。集群安装安装选定的包裹正在将选定的包裹下载并安装到集群中的所有主机上。CDH5.3.2-1.cdh5.3.2.p0.103个错误Errorwhendistributingtovm-cdh-cluster-3:[Errnosocketerror][Errno-2]Nameorservicenotknown.Errorwhendistributingtovm-cdh-cluster-1:[Errnosocketerror][Errno-2]Name

hadoop - 如何在 Ubuntu (12.0.4)-32 位上安装 cloudera manager

我有一个32位的Ubuntu版本,似乎最新的ClouderaManager只支持64位。有没有人在Ubuntu(12.0.4)32位上安装了CDH4和云时代管理器?。你能不能让我知道怎么做。 最佳答案 我相信32位Ubuntu不支持CDH4。32位RHEL6.2支持32位 关于hadoop-如何在Ubuntu(12.0.4)-32位上安装clouderamanager,我们在StackOverflow上找到一个类似的问题: https://stackoverf

hadoop - 如何使用安装在 EC2 上的 Cloudera Manager 4.0 解析主机

任何人都可以提供ClouderaManager4.1免费版帮助说明在EC2中解析主机吗?我在EC2m1.large实例上安装了ClouderaManager4.1免费版。当我使用外部主机名(dn1.example.com)搜索主机时,它会正确显示并正确安装软件包。但是,经过检查,它没有出现。唯一出现的服务器是安装ClouderaManager的服务器(ip-#-#-#-136.ec2.internal)。我什至尝试在主机搜索中使用dn1的其他主机名(ec2-#-#-#-47.compute-1.amazonaws.com、ip-#-#-#-152.ec2.internal)。两者都安装

hadoop - 集群安装卡在cloudera manager中的 "installation in progress"

我已经在ubuntu操作系统中安装了Clouderamanager5.4版本。当我尝试使用cloudera管理器安装集群时,它卡住了“正在安装”,没有任何错误。我只能从/var/log/cloudera-scm-server/cloudera-scm-server.log中看到两个错误2015-05-1219:11:42,715ERRORmain:org.hibernate.engine.jdbc.spi.SqlExceptionHelper:ERROR:relation"cm_version"doesnotexistPosition:212015-05-1219:16:58,585E

hadoop - Sqoop中--connection-manager的意义

我已经编写了sqoop脚本来将数据从Teradata导入到Hive。`sqoopimport\--connect$JDBC_URL\--drivercom.teradata.jdbc.TeraDriver\--username$Username\--password$Password\--table$TD_Table\--hive-import\--hive-overwrite\--hive-drop-import-delims\--hive-table$Hive_Database.$Hive_Staging_Table\--split-by$Split_Col\-m$Mapper_N

hadoop - Impala Cloudera Manager 代理从该角色的 Web 服务器获得意外响应

我已经用clouderamanager完成了一个hadoop集群安装。安装后impala状态变坏了。主节点出现以下错误:WebServerStatus这一个用于带有imapala守护进程的节点:ImpalaDaemonReadyCheck,WebServerStatus查看日志我发现了一些错误:ThehealthtestresultforIMPALAD_WEB_METRIC_COLLECTIONhasbecomebad:TheClouderaManagerAgentgotanunexpectedresponsefromthisrole'swebserver.查看cloudera-scm

hadoop - Cloudera Manager 健康问题 : NameNode Connectivity, Web 服务器状态

以下是CM上报告的健康问题的快照。列表中的数据节点不断变化。数据节点日志中的一些错误:3:59:31.859PMERRORorg.apache.hadoop.hdfs.server.datanode.DataNodedatanode05.hadoop.com:50010:DataXceivererrorprocessingWRITE_BLOCKoperationsrc:/10.248.200.113:45252dest:/10.248.200.105:50010java.io.IOException:PrematureEOFfrominputStreamatorg.apache.had

hadoop - 为具有多个 spark 客户端的 yarn 集群计算 yarn.nodemanager.resource.cpu-vcores

如果我有3个spark应用程序都使用同一个yarncluster,我应该如何设置yarn.nodemanager.resource.cpu-vcores在3个yarn-site.xml中的每一个?(每个spark应用程序都需要在类路径上有自己的yarn-site.xml)这个值在客户端yarn-site.xml中是否重要?如果是:假设集群有16个核心。每个yarn-site.xml中的值是否应该为5(总共15,为系统进程留下1个核心)?或者我应该将每个设置为15吗?(注意:Cloudera表示此处应为系统进程保留一个核心:http://blog.cloudera.com/blog/20

hadoop - 无法启动 Cloudera Manager Server,因为 RuntimeException : Upgrade not allowed from CM3. x

我在安装ClouderaManager(5.8.3版)时遇到了问题。我安装了cloudera-manager-agent-5.8.3-1.cm583.p0.8.el6.x86_64,cloudera-manager-server-5.8.3-1.cm583.p0.8.el6.x86_64,CentOS6.564位上的cloudera-manager-daemons-5.8.3-1.cm583.p0.8.el6.x86_64->使用$rpm-Uvh[包名]安装mysql并设置配置文件(/etc/cloudera-manager-server/db.properties)但是我联系了错误信