草庐IT

CLOUDERA

全部标签

hadoop - 连接拒绝快速启动.cloudera :8020

关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗?通过editingthispost添加细节并澄清问题.关闭2年前。Improvethisquestion我正在使用Cloudera-quickstart5.5.0virtualbox尝试在终端上运行它。正如您在下面看到的,有一个异常(exception)。我在Internet上搜索了解决此问题的解决方案并找到了一些东西。1-)配置core-site.xml文件。https://datashine.wordpress.com/2014/09/06/java-net-connectexception-c

hadoop - 监控 HBase 集群

我发现Hbase提供了各种指标,可用于监控集群和调整配置参数以获得最佳性能。那么有人能说出这些指标的含义以及要考虑的最重要指标是什么吗? 最佳答案 指标名称值解释hbase.regionserver.blockCacheCount内存中的block缓存项计数。这是缓存中StoreFiles(HFiles)的block数。hbase.regionserver.blockCacheEvictedCount由于堆大小而必须从block缓存中逐出的block数约束条件。hbase.regionserver.blockCacheFree可用的

hadoop - socks 仍然打开时动物园管理员意外异常导致关机

我在ClouderaHadoop2.0集群中遇到了很多主要问题,这些问题与每天发生多次的zookeeper上的以下错误同时发生。我找不到这个问题的根本原因。感谢任何帮助。2016-04-1114:48:30,872错误org.apache.zookeeper.server.quorum.LearnerHandler:意外异常导致关机,而socks仍然打开2016-04-1114:48:49,584错误org.apache.zookeeper.server.quorum.LearnerHandler:意外异常导致关机,而socks仍然打开2016-04-1114:49:07,239错误o

java - Docker 和 Cloudera 快速入门 : How to run own jar-file?

我安装了Docker容器并进行了后续步骤:dockerpullcloudera/quickstart:latestdockerimages#notethehashoftheimageandsubstituteitbelowdockerrun--privileged=true\--hostname=quickstart.cloudera\-t-i${HASH}\/usr/bin/docker-quickstart所以,现在我知道了:Cloudera正在运行。但是我看不到任何本地文件,那么如何加载我自己的文件,尤其是jar文件以使用Hadoop运行它? 最佳答案

hadoop - Cloudera 用户不允许在 hadoop 上操作 hdfs 系统

我正在尝试在hdfshadoop文件系统中创建一个文件夹,但它不允许我使用用户cloudera或root创建文件夹。我应该配置什么以使其允许我使用hier是我的尝试:[cloudera@quickstart~]$sudohadoopfs-mkdir/solr/test_coremkdir:Permissiondenied:user=root,access=WRITE,inode="/solr":solr:supergroup:drwxr-xr-x[cloudera@quickstart~]$suPassword:[root@quickstartcloudera]#hadoopfs-mk

ubuntu - Hadoop Hue 无法访问文件系统根目录

我正在从Hue的快速启动向导中获取这条消息。hadoop.hdfs_clusters.default.webhdfs_urlCurrentvalue:http://localhost:50070/webhdfs/v1Failedtoaccessfilesystemroot我试过了,Hue:Failedtoaccessfilesystemroot,但没有任何改变。还有其他想法吗? 最佳答案 我再次尝试了configuration从一开始的步骤,它奏效了.... 关于ubuntu-Hadoo

hadoop - pig : optimal number of maps with a 4 node cluster?

我正在使用只有4个节点的hadoopCloudera系统,但磁盘空间很大(200TB)。在我的pig脚本中,我每月加载几个文件,每个文件的大小约为200Gb。我注意到,如果我在我的pig脚本中加载大约一年的数据,Pig会创建大约15k个mappers,整个过程大约需要3个小时(包括reduce步骤)。相反,如果我加载三年的数据(大约5TB),那么Pig会创建大约30k个mappers,基本上所有节点在处理超过15次后都会变得不健康小时。我是不是遇到了瓶颈?或者我应该使用一些默认选项?我的pig脚本非常基本:我分组,我数数。非常感谢! 最佳答案

hadoop - 无法启用 oozie web 控制台

我在RHEL7.2上使用CDH5.7。我点击了以下链接Ooziewebconsole.将ext-2.2复制到/var/lib/oozie后,我将权限更改为755。然后我重新启动了oozie。但它仍然显示OozieWeb控制台已禁用 最佳答案 我找到了答案下载ext-2.2提取并移动到/var/lib/oozie将所有者更改为oozie并应用权限755然后重启oozie 关于hadoop-无法启用oozieweb控制台,我们在StackOverflow上找到一个类似的问题:

Hadoop HDFS 名称节点失败

在我的主节点中重新启动Namenode角色时,我遇到了一个严重的问题。5月27日下午4:50:09.866错误org.apache.hadoop.hdfs.server.namenode.NameNode收到信号15:SIGTERM5月27日下午4:50:10.182信息org.apache.hadoop.hdfs.server.namenode.NameNodeSHUTDOWN_MSG:可以看出,进程正在接收SIGTERM并且Namenode正在关闭。有人知道发生了什么事吗?我应该查看哪些日志以调试导致SIGTERM的问题?我正在使用ClouderaManager。(Cloudera

hadoop - PIG 脚本 : reducer preempted to make room for pending map attempts

我使用不同的参数运行同一个PIG脚本的多个实例。当集群负载很重时,MapReduce作业日志显示大量reducer被抢占,这需要时间:ReducerpreemptedtomakeroomforpendingmapattemptsContainerkilledbytheApplicationMaster.Containerkilledonrequest.Exitcodeis143Containerexitedwithanon-zeroexitcode143如何避免此类抢占问题以最小化脚本执行时间? 最佳答案 看看this关联。简而言之