草庐IT

system.management

全部标签

jdbc - 使用CDH4+Cloudera Manager时JDBC驱动放在哪里?

我试图让Sqoop2(CDH4.4.0)识别JDBCjar,但无论我把它们放在哪里,它们似乎都没有被识别。我听从了建议:here,here,并问了一个类似的问题here.有人可以对此提供明确的答案吗? 最佳答案 我强烈建议您遵循Hadoop发行版及其相关版本的官方安装指南。看来您使用的是CDH4.4.0,但正在查看CDH4.2.1安装说明。而在CDH4.2.1中,JDBC驱动程序jar文件应在/usr/lib/sqoop2中,自CDH4.3.0起,它们应在/var/lib/sqoop2中(documentation)。

hadoop - Cloudera Manager CDH Parcel 分发错误

我正在尝试使用CentOS6机器在Rackspace云上安装Hadoop集群。从cloudera管理器创建新集群时出现以下错误。有人可以帮忙吗。集群安装安装选定的包裹正在将选定的包裹下载并安装到集群中的所有主机上。CDH5.3.2-1.cdh5.3.2.p0.103个错误Errorwhendistributingtovm-cdh-cluster-3:[Errnosocketerror][Errno-2]Nameorservicenotknown.Errorwhendistributingtovm-cdh-cluster-1:[Errnosocketerror][Errno-2]Name

windows - "yarn resourcemanager"产生 "The system cannot find the batch label specified - resourcemanager"

我在Windows64上以伪分布式模式运行hadoop2.7.1,无法运行yarn。每当我尝试通过yarnresourcemanager启动它时,我都会得到以下输出:Thesystemcannotfindthebatchlabelspecified-resourcemanagerUsage:java[-options]class[args...](toexecuteaclass)orjava[-options]-jarjarfile[args...](toexecuteajarfile)whereoptionsinclude:-d32usea32-bitdatamodelifavail

Hadoop on Batch System 作为用户进程

我看过Hadoop-on-Demand,以及SGE上的Hadoop集成。我的理解是这需要管理员权限,而我在工作的大集群上没有。管理员忙得不可开交,几个月内都无法设置我们。我认识到临时虚拟集群对HDFS实用程序的限制。我也明白使用lustre文件系统是如何违背常规的,但是有没有人编写过SGE或Torque(PBS)脚本来将作业提交到启动hadoop实例的集群? 最佳答案 参见MyHadoop:http://www.sdsc.edu/~allans/MyHadoop.pdf错误链接。此处提供文章:http://archive.futur

hadoop - 如何在 Ubuntu (12.0.4)-32 位上安装 cloudera manager

我有一个32位的Ubuntu版本,似乎最新的ClouderaManager只支持64位。有没有人在Ubuntu(12.0.4)32位上安装了CDH4和云时代管理器?。你能不能让我知道怎么做。 最佳答案 我相信32位Ubuntu不支持CDH4。32位RHEL6.2支持32位 关于hadoop-如何在Ubuntu(12.0.4)-32位上安装clouderamanager,我们在StackOverflow上找到一个类似的问题: https://stackoverf

hadoop - 如何使用安装在 EC2 上的 Cloudera Manager 4.0 解析主机

任何人都可以提供ClouderaManager4.1免费版帮助说明在EC2中解析主机吗?我在EC2m1.large实例上安装了ClouderaManager4.1免费版。当我使用外部主机名(dn1.example.com)搜索主机时,它会正确显示并正确安装软件包。但是,经过检查,它没有出现。唯一出现的服务器是安装ClouderaManager的服务器(ip-#-#-#-136.ec2.internal)。我什至尝试在主机搜索中使用dn1的其他主机名(ec2-#-#-#-47.compute-1.amazonaws.com、ip-#-#-#-152.ec2.internal)。两者都安装

java.io.IOException : File/tmp/hadoop-eo/mapred/system/jobtracker. 信息只能复制到 0 个节点,而不是 2 个

当我在我们的主机上部署hadoopnamenode时,我们一次又一次地遇到异常,任何人都可以帮助提供任何建议吗?提前致谢。2014-08-0509:08:00,538INFOorg.apache.hadoop.hdfs.server.namenode.FSNamesystem:Numberoftransactions:31Totaltimefortransactions(ms):1NumberoftransactionsbatchedinSyncs:0Numberofsyncs:21SyncTimes(ms):172014-08-0509:08:00,542INFOorg.apache

hadoop - 集群安装卡在cloudera manager中的 "installation in progress"

我已经在ubuntu操作系统中安装了Clouderamanager5.4版本。当我尝试使用cloudera管理器安装集群时,它卡住了“正在安装”,没有任何错误。我只能从/var/log/cloudera-scm-server/cloudera-scm-server.log中看到两个错误2015-05-1219:11:42,715ERRORmain:org.hibernate.engine.jdbc.spi.SqlExceptionHelper:ERROR:relation"cm_version"doesnotexistPosition:212015-05-1219:16:58,585E

Robot Operating System 2: Design, Architecture, and Uses In The Wild

RobotOperatingSystem2:Design,Architecture,andUsesInTheWild(机器人操作系统2:设计、架构和实际应用)摘要:随着机器人在广泛的商业用例中的部署,机器人革命的下一章正在顺利进行。即使在无数的应用程序和环境中,也存在机器人共享的组件的通用词汇——需要模块化、可扩展且可靠的架构;传感;规划;流动性;和自主权。机器人操作系统(ROS)是最后一章的组成部分,通过免费提供的组件和模块化框架明显加快了机器人研究。然而,ROS1的设计并未包含许多必要的生产级功能和算法。ROS2及其相关项目已从头开始重新设计,以应对现代机器人系统在各种规模的新探索领域提出

hadoop - Sqoop中--connection-manager的意义

我已经编写了sqoop脚本来将数据从Teradata导入到Hive。`sqoopimport\--connect$JDBC_URL\--drivercom.teradata.jdbc.TeraDriver\--username$Username\--password$Password\--table$TD_Table\--hive-import\--hive-overwrite\--hive-drop-import-delims\--hive-table$Hive_Database.$Hive_Staging_Table\--split-by$Split_Col\-m$Mapper_N