草庐IT

Cloudera-CDH

全部标签

hadoop - 在 CDH 4.7 中设置 share_jobs 的 hue.ini 位置

我正在尝试设置描述的share_jobs设置HERE为false。文档HERE说要访问http://myserver:port/dump_config以查找HUE配置的位置。对我来说,它提供了/var/run/cloudera-scm-agent/process/73-hue-HUE_SERVER/。正如您可能从它在/var/run/中猜到的那样,每次启动时都会重新创建该目录,因此不会保存对hue.ini的更改并执行似乎不会影响http://myserver:port/dump_config中列出的配置。我运行了find/-namehue.ini以查看是否还有另一个要更改的hue.in

hadoop - 使用 Cloudera Director 创建新集群

尝试使用ClouderaDirector创建新集群时出现以下错误。有什么建议吗?[ec2-user@ip-10-0-2-227cloudera-director-1.0.0]$./bin/cloudera-directorbootstrap-remoteaws.reference.conf--lp.remote.hostAndPort=127.0.0.1:7189Processlogscanbefoundat/home/ec2-user/cloudera/cloudera-director-1.0.0/logs/application.logClouderaDirector1.0.0i

hadoop - CDH 组件版本号

我安装了一个CDH集群并使用了hadoop版本,但它只返回了Hadoop版本。有没有办法在图形界面上获取所有已安装组件的版本号?例如,哪个命令可以获取Spark版本号? 最佳答案 打开CM(hostname:portnumber)->Hosts选项卡->HostInspector查找是什么版本CM和CDH安装在集群中的所有主机上,以及安装的带有版本详细信息的cdh组件列表 关于hadoop-CDH组件版本号,我们在StackOverflow上找到一个类似的问题:

ubuntu - Ubuntu 上的 Hadoop 安装,Hadoop 文件 VS Hortonworks 或 Cloudera

我正在尝试在我的机器上安装Hadoop。目前我有Windows和Ubuntu操作系统。我一直在寻找安装Hadoop的可能方法,并且遇到了Hortonworks网站。从他们的网站上,他们为虚拟机提供沙箱,不知道是否有直接在操作系统上安装的选项。问题是从http://hadoop.apache.org/安装会有所不同吗??或者安装像Hortonworks或Cloudera这样的东西?我读过使用hadoop文件可以更好地理解Hadoop,但是它是否适合只想使用它创建应用程序的人?我更喜欢使用操作系统而不是虚拟机。谢谢。 最佳答案 是的,有

amazon-web-services - 无法访问端口 7180 上的 cloudera 管理器

按照官方说明在AWSEC2实例上安装ClouderaManager:http://www.cloudera.com/documentation/archive/manager/4-x/4-6-0/Cloudera-Manager-Installation-Guide/cmig_install_on_EC2.html我成功运行了.bin包,但是当我访问IP:7180时,浏览器说我的访问被拒绝了...为什么...我试图确认cm服务器的状态:servicecloudera-scm-serverstatus。起初它说cloudera-scm-server挂了,pid文件存在日志文件显示提到“未

Maven 依赖项 : non existing library 'hadoop-common-2.6.0-cdh5.9.0.jar'

我正在尝试实现一个Spark应用程序WordCount,但是当我添加hadoop-common依赖项时出现错误:'MavenDependencies'referencesnonexistinglibrary'/root/.m2/repository/org/apache/hadoop/hadoop-common/2.6.0-cdh5.9.0/hadoop-common-2.6.0-cdh5.9.0.jar'这是我的pom.xml:org.scala-langscala-library2.10.6org.apache.hadoophadoop-common2.6.0-cdh5.9.0ju

hadoop - 如何从 Cloudera Manager REST API 获取事件名称节点主机名?

我能够访问Cloudera管理器restAPI。curl-uusername:passwordhttp://cmhost:port/api/v10/clusters/clusterName如何找到事件的namenode和resourcemangarer主机名?我无法从API文档中找到任何相关内容。http://cloudera.github.io/cm_api/apidocs/v10/index.html注意:集群配置高可用 最佳答案 您需要使用此端点:http://cloudera.github.io/cm_api/apidocs

hadoop - 无法使用 cloudera quickstart 重新启动 Hadoop namenode

我将Windows8与cloudera-quickstart-vm-5.4.2-0虚拟机一起使用。我想在HDFS中放置一个“words.txt”文件。我有一个连接异常。我检查了其他StackOverflow线程/解决方案并尝试了以下操作:我检查了namenode和datanode的状态。似乎namenode在数据节点运行时已死。我重新启动了namenode,但它仍然没有运行。这是显示所有步骤的终端屏幕截图:terminal.png我不知道下一步该怎么做才能解决我遇到的问题。注意:我是Hadoop的新手,所以我不熟悉与之相关的大部分技术术语。非常感谢描述性解决方案。

hadoop - 如果我已经安装了带有 Ambari 的 Hadoop,我可以使用 CDH 安装第二个 Hadoop 吗?在同一台机器上

如果我已经在相同的三台机器上安装了带有Ambari的Hadoop集群,我可以拥有第二个带有CDH的Hadoop集群吗?如果是,如何将原集群上的数据迁移到新集群?谢谢。 最佳答案 是的,您可以,但这不是一项简单的任务。HDP和CDH服务之间会发生端口冲突。因此,您必须为CDH集群选择不同的端口。另一个需要解决的痛点——两个集群都希望使用/etc/hadoop、/etc/hive等来存储配置文件。因此,集群之一应该配置为使用不同的位置。关于数据迁移,使用distcp。 关于hadoop-如果

hadoop - 如何在没有 CDH 的情况下安装和配置 Hue 来管理 HDFS

我想安装和配置Hue以使用Web管理我的HDFS文件?我在本地机器上安装了单节点Hadoop集群。我找到了这个HueInstallGuide,它通过Clouderamanager和CDH安装Hue,但我想不使用Clouderamanager和CDH来安装它。我该如何解决这个问题? 最佳答案 关注installationdocumentationonHue'sGithub,或官方documentationpage你会得到最新版本的Hue(而不是依赖CDH拥有的旧版本)能够针对任何Hadoop集群运行它(提供正确的setupofhue.