草庐IT

Cloudera-CDH

全部标签

hadoop - 人类可读格式的cloudera hadoop集群上的剩余空间

我正在寻找一个命令来显示hadoop集群上剩余空间的人类可读形式。我在这个论坛上找到了一个命令,输出在图像中。hdfsdfsadmin-报告[dfsadmin命令的输出][1]我听说hortonworks中还有另一个命令可以提供更易读的输出。该命令是hdfsdfsadmin-report该命令似乎不适用于cloudera。cloudera中是否有任何等效命令?非常感谢 最佳答案 不管您使用的是Cloudera还是Hortonworks。如果您使用的是旧版本的hadoop,则命令可能是hadoopdfsadmin-report。您还有

hadoop - cdh 5.8.0 上的 TestDFSIO 基准测试

环境详情:操作系统:CentOS7.2CDH:CDH5.8.0主机:11(2个master,4个DN+NM,5个NM)yarn.nodemanager.resource.memory-mb32074MB(对于NodeManagergroup1)82384MB(对于NodeManager组2)我有一个hadoop集群,其中包含11个节点、2个主节点、4个运行数据节点和节点管理器守护进程的从节点,5个节点仅运行节点管理器守护进程。在这个集群上,我正在运行TestDFSIO基准测试作业,负载为8TB,有10000个文件,每个文件大小为800MB。我注意到一些我无法正确理解的事情。1)这个jo

hadoop - 配置单元 : The application won't work without a running HiveServer2

我是这个领域的新手。我正在检查CDH5.8快速启动VM以尝试一些基本的hive/impala示例。但是我遇到了一个问题,当我打开HUE时出现以下错误。我搜索了解决方案,但没有找到任何可以解决我的问题的方法。Configurationfileslocatedin/etc/hue/conf.emptyPotentialmisconfigurationdetected.FixandrestartHue.HiveTheapplicationwon'tworkwithoutarunningHiveServer2.我检查过,它已启动并正在运行。尝试重新启动服务和CDH,没有帮助。HiveServe

hadoop - 如何在 Ubuntu (12.0.4)-32 位上安装 cloudera manager

我有一个32位的Ubuntu版本,似乎最新的ClouderaManager只支持64位。有没有人在Ubuntu(12.0.4)32位上安装了CDH4和云时代管理器?。你能不能让我知道怎么做。 最佳答案 我相信32位Ubuntu不支持CDH4。32位RHEL6.2支持32位 关于hadoop-如何在Ubuntu(12.0.4)-32位上安装clouderamanager,我们在StackOverflow上找到一个类似的问题: https://stackoverf

hadoop - 如何使用安装在 EC2 上的 Cloudera Manager 4.0 解析主机

任何人都可以提供ClouderaManager4.1免费版帮助说明在EC2中解析主机吗?我在EC2m1.large实例上安装了ClouderaManager4.1免费版。当我使用外部主机名(dn1.example.com)搜索主机时,它会正确显示并正确安装软件包。但是,经过检查,它没有出现。唯一出现的服务器是安装ClouderaManager的服务器(ip-#-#-#-136.ec2.internal)。我什至尝试在主机搜索中使用dn1的其他主机名(ec2-#-#-#-47.compute-1.amazonaws.com、ip-#-#-#-152.ec2.internal)。两者都安装

hadoop - 在 cloudera impala 1.2.3 中使用 date_sub() udf 从 View 查询时出现连接重置错误

我已经编写了一个查询来在Impala中创建一个View。该View包含一个字段record_date,它是格式为yyyy-MM-ddhh:mm:ss的字符串数据类型。在尝试执行使用date_sub('2014-01-3000:00:00',1)提取先前日期记录的查询时,我收到如下错误:错误:与impalad通信时出错:TSocket读取0个字节。如果我尝试对创建的表而不是View执行相同的查询,我会得到正确的输出。感谢任何帮助。谢谢 最佳答案 这是一个错误,请升级到最新版本的Impala,因为它似乎从1.2.3开始就已修复,这是很旧

hadoop - 元数据错误 : org. apache.thrift.transport.TTransportException

这个错误是什么意思?“元数据错误:org.apache.thrift.transport.TTransportException?”在什么情况下会出现此错误?我在创建表和将数据加载到表中时遇到此错误。 最佳答案 org.apache.thrift.transport.TTransportException,这是一个非常普遍的错误,该消息描述了hiveserver有问题并建议您查看Hive日志。如果您能够访问完整的日志堆栈并共享确切的详细信息,则可能会找到此问题的真正原因。大多数时候,我遇到这个错误就像配置单元元数据问题、无法访问配置

logging - cdh4 hadoop 中作业的详细日志在哪里?

我只是在hdfs中找到jobhistory/home/mps/cdh/users/history/done_intermediate/mps/job_1405497023620_0009-1405505656182-mps-simjoin%2D1.0.jar-1405505683781-0-0-FAILED-default.jhist但是这个工作历史信息远非像这样的详细信息:{"type":"TASK_FAILED","event":{"org.apache.hadoop.mapreduce.jobhistory.TaskFailed":{"taskid":"task_14054970

hadoop - 添加 phoenix-4.3.0-server.jar 后 region server 在 cloudera 中失败

我在cloudera的/opt/cloudera/parcels/CDH/lib/hbase/lib中添加了phoenix-4.3.0-server.jar。当我尝试启动服务器(区域和主服务器)时,只有主服务器启动。区域服务器有时会暂时启动并立即关闭。这适用于以前版本的phoenix(4.0.0-incubating)。请帮我解决这个问题。 最佳答案 从4.0.0升级到4.3.0失败的原因是兼容性。由于某种原因,4.3.0不兼容从旧版本的phoenix升级。因此,从4.0.0升级到4.1.0,重新启动HBase服务器,然后通过重新启

hadoop - 集群安装卡在cloudera manager中的 "installation in progress"

我已经在ubuntu操作系统中安装了Clouderamanager5.4版本。当我尝试使用cloudera管理器安装集群时,它卡住了“正在安装”,没有任何错误。我只能从/var/log/cloudera-scm-server/cloudera-scm-server.log中看到两个错误2015-05-1219:11:42,715ERRORmain:org.hibernate.engine.jdbc.spi.SqlExceptionHelper:ERROR:relation"cm_version"doesnotexistPosition:212015-05-1219:16:58,585E