我目前正在从事一个使用Hadoop集群的future项目。我需要找到有关集群安全性的信息。我找到了APIApacheKnoxGateway,它似乎正是我们所需要的。我们现在使用Cloudera4.5。future我们会升级到Cloudera5。我的问题是Knox似乎与Cloudera4.5(http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH-Version-and-Packaging-Information/cdhvd_topic_3.html)不兼容。WebHDFS2.4.0We
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭7年前。Improvethisquestion为什么我们使用CDH(cloudera)而不是使用Apache-Hadoop或Apache-Sparkets。独自?它有什么优势?如果我想用Apache-Spark做数据分析,单独使用CDH好还是Apache-Spark框架好?谢谢
我已经停止了ntpd并重新启动了它。已经做了一个ntpdatepool.ntp.org。错误出现一次,主机很健康,但一段时间后再次出现时钟偏移错误。我还观察到,在执行ntpdate后,cloudera的Web界面停止工作。它说潜在的不匹配配置修复并重新启动色调。我在VMware上安装了带有centos的cloudera快速启动虚拟机。 最佳答案 检查/etc/ntp.conf文件是否在所有节点/主节点上都相同重启ntp使用chkconfig添加守护进程并将其设置为开启 关于hadoop-
我已经成功安装了Cloudera管理器。它显示Currentlymanagedhosts为127.0.0.1并且它是事件的。当我在加载后使用cloudera管理器搜索和安装集群时,它显示以下错误。Installationfailed.Failedtoreceiveheartbeatfromagent.Ensurethatthehost'shostnameisconfiguredproperly.Ensurethatport7182isaccessibleontheClouderaManagerserver(checkfirewallrules).Ensurethatports9000a
如何从命令行CDH4--启动/停止服务。我是Hadoop的新手。从Cloudera安装的VM。找不到start-all.sh和stop-all.sh。如果需要,如何停止或启动任务跟踪器或数据节点。这是我在Centos上使用的单节点集群。我没有做任何修改。除此之外,我还看到所有版本的目录结构都发生了变化。我无法在安装的VM上找到这些sh文件。[cloudera@localhost~]$stop-all.shbash:stop-all.sh:commandnotfound非常感谢您的支持。 最佳答案 使用Sudosuhdfs启动和停
我在亚马逊上启动了一个EC2集群来安装cloudera...我安装并配置了它,并将一些Wiki页面View公共(public)快照加载到HDFS中。文件结构如下:projectcode,pagename,pageviews,bytes文件是这样命名的:pagecounts-20090430-230000.gzdatetime当从HDFS加载数据到Impala时,我是这样做的:CREATEEXTERNALTABLEwikiPgvws(project_codevarchar(100),page_namevarchar(1000),page_viewsint,page_bytesint)RO
我在一个运行Cloudera5.3的集群上工作,我已经按照所有说明创建了一个NFS网关并且它运行良好。我的问题是我仍然无法将HDFS目录视为Linux文件系统的一部分(这是RHEL6)。我不是UNIX管理员,所以我没有挂载目录的经验,而且我在网上找到的文档对解决这个特定问题没有帮助。我试过简单的mount/在作为NFS网关的机器上,但这没有用。当我尝试从另一台集群机器使用挂载时mount://我在网关服务器和HDFS中都看不到任何文件(尽管我可以使用hdfsdfs-ls轻松查看这些文件)。既然已经设置了NFS,我该如何实际将HDFS挂载为目录? 最佳答案
我想使用quickstartVM镜像创建一个Cloudera集群,您可以直接从cloudera的网页(http://www.cloudera.com/downloads/quickstart_vms/5-8.html)下载该镜像。我有三个虚拟机,我想有一个主机和两个从机。我已经对它们进行了配置,以便在3个虚拟机之间具有不同的主机名和DNS连接。但是,当我尝试添加新主机时,我通常会丢失来自其他机器的心跳,或者当它没有发生时,我会遇到版本不匹配和HDFS错误。那么,在尝试添加新主机之前,我应该做任何其他配置设置吗? 最佳答案 如果您想使
DoneMyHome工作到处搜索,但没有找到任何解决方案java.lang.NoSuchFieldError:IS_SECURITY_ENABLEDCDH包包含冲突的jar(jsp-api-2.1-6.1.14.jar、jasper-runtime-5.5.23.jar)。jsp-api-2.1-6.1.14.jar和jasper-runtime-5.5.23.jar包含不同版本的org.apache.Constants.java类。jasper-runtime-*jar不包含字段“IS_SECURITY_ENABLED”,因此jetty在尝试访问类org.apache.Constan
简而言之,可以为Multi-Tenancy上下文配置ClouderaNavigator吗?详细地说,我们有一个包含许多业务实体的数据湖(Hadoop集群),我们希望每个业务实体使用cloudera导航器查看、管理和访问它自己的数据。网上没查到资料,ui好像也没有这个选项。提前致谢 最佳答案 您可以使用ClouderaManager创建Kerberos主体和key表,您可以将其配置为访问所需的目录。阅读:ConfiguringAuthenticationinClouderaManager