我使用parcels通过cloudera管理器安装了hadoop。我需要找到设置以下变量的变量的路径。HADOOP_MAPRED_HOMEMR2_CLASSPATHHADOOP_COMMON_HOMEJAVA_LIBRARY_PATHHADOOP_CLIENT_CONF_DIRHADOOP_CONF_DIRHADOOP_HDFS_HOMEHADOOP_YARN_HOME有人可以帮我解决这个问题吗？我在哪里可以找到它们。 最佳答案 你可以在cloudera安装目录下找到这些设置的环境变量。通常，它确实安装在“opt”目录下，因此had

我是Spark、Hadoop和Cloudera的新手。我们需要使用特定版本(1.5.2)的Spark，并且还需要使用Cloudera进行集群管理，也需要使用Spark。但是，CDH5.5是随Spark1.5.0一起提供的，不能轻易更改。人们提到“只需手动下载”自定义版本的spark。但是如何通过Cloudera管理这个“自定义”spark版本，以便我可以在集群中分发它？或者，它是否需要完全独立于Cloudera进行操作和配置？感谢您的帮助和解释。 最佳答案 是的，可以运行任何ApacheSpark版本。!!在做之前我们需要确定的步骤

我在Miscrosoftazure上安装了Cloudera集群。我每个周末都按照以下步骤关闭集群:1)ClouderaManager的ClouderaManagementService转2)停止ClouderaManager的所有服务3)转到名称节点并运行命令:servicecloudera-scm-serverstop4)关闭集群上的虚拟机。当我尝试启动这个集群时，我遵循以下步骤:1)启动集群上的虚拟机2)服务“cloudera-scm-server”在启动时已经启动。3)从CM开启Cloudera管理服务4)开启所有服务。这是它失败的地方，并向我提供了它无法启动名称节点的错误，因为

在博文中:http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/我用天真的方式来解决它:给定16个内核、64个RAM、8个线程-使用15个内核、63个RAM、6个执行程序。相反，他们推荐17个执行程序、5个内核和19个RAM。我看到他们有一个RAM方程式，但我不知道发生了什么。如果您只在一台机器上运行它(而不是通过HDFS)，这是否仍然适用？感谢帮助 最佳答案 我认为他们很好地解释了为什么here:(查看从幻灯片5开始的幻灯片)

defgetRegions(config,servername)connection=HConnectionManager::getConnection(config)parts=servername.split(',')putspartsrs=connection.getHRegionConnection(parts[0],parts[1].to_i)returnrs.getOnlineRegions()end我正在尝试使此代码与CDH5兼容。我查看了CDH5库，但无法找到确切的解决方案。我正在使用connection=ConnectionFactory::createConnect

我有一个大型hadoop集群(24个节点)。我可以通过CLI访问这些节点。前几个没有运行ClouderaManager(cloudera-scm-server)。如何找出哪个节点正在运行ClouderaManager？感谢任何帮助。 最佳答案 ClouderaManager将有两个服务。一个是服务器，另一个是代理。正如您所说，您可以通过CLI访问所有节点。因此，在所有节点上运行以下命令以查找哪个是服务器并打开(服务器将仅在一台机器上运行)sudoservicecloudera-scm-serverstatus另一种简单的查找CDHS

我已经安装了CDH5.5.2，它在ClouderaManager中看起来没问题，直到我单击SparkHistoryServerUI链接或YarnHistoryServerUI链接。那些不起作用。不工作，我的意思是他们根本无法从浏览器访问。我在文件spark-defaults.conf中添加了以下几行spark.eventLog.dir=hdfs://name-node-1:8020/user/spark/applicationHistoryspark.eventLog.enabled=truespark.yarn.historyServer.address=http://name-no

我正在使用sqoop将数据从oracledb加载到hive规范:CDH-5.5.1Sqoop1.4.2初始化:exportSQOOP_HOME=/opt/cloudera/parcels/CDH-5.5.1-1.cdh5.5.1.p0.11/lib/sqoopexportHIVE_HOME=/opt/cloudera/parcels/CDH-5.5.1-1.cdh5.5.1.p0.11/lib/hiveexportHADOOP_CLASSPATH=/opt/cloudera/parcels/CDH-5.5.1-1.cdh5.5.1.p0.11/lib/sqoop/lib/ojdbc7.

我已经使用默认用户模式和单用户模式设置了两个clouderahadoop集群，但我不知道在生产中使用哪种方法才是正确的。 最佳答案 在传统的ClouderaManager部署中，管理每个主机上的Hadoop进程的ClouderaManagerAgent作为根用户运行。但是，某些环境限制对根帐户的访问。在单用户模式下，ClouderaManagerAgent和由ClouderaManager管理的服务运行的所有进程都作为单个配置的用户和组启动。单用户模式优先考虑Hadoop与系统其余部分之间的隔离，而不是系统上运行的Hadoop进程之

我安装了Cloudera并想使用Hive，但它不起作用。你能解释一下我是否需要为正常工作配置单元安装相同的数据库(Oracle或MySQL)，还是没有必要？ 最佳答案 默认情况下，Derby数据库一次只能支持一个Activity用户。因此出于学习目的，您不需要MySQL/Oracle。如果您需要探索更多选项，请阅读~~>ConfiguringtheHiveMetastoreClouderarecommendsusingthismodeforexperimentalpurposesonly.Thisisthedefaultmetast