草庐IT

hadoop - 如何为现有的 hadoop 集群部署 ambari

正如我在本标题中提到的,我可以跳过为该集群安装hadoop集群的步骤吗?该集群已经存在并且正在使用中? 最佳答案 Ambari依靠“堆栈”定义来描述Hadoop集群由哪些服务组成。Hortonworks定义了一个自定义的Ambari堆栈,称为HDP。您可以定义自己的堆栈并使用您想要的任何服务和相应版本。有关定义堆栈和服务的更多信息,请参阅ambariwiki。话虽这么说,但我认为不可能将您预先安装的Hadoop与Ambari一起使用。Ambari用于配置和管理hadoop集群。它跟踪每个堆栈服务的状态,以及每个服务组件的状态。由于您

apache - EC2 上 SSL 的 Ambari 注册阶段失败

我正在尝试使用ApacheAmbari在EC2上配置Hadoop集群。在注册阶段我得到这个错误:Commandstarttime2016-11-2320:25:12('Traceback(mostrecentcalllast):File"/usr/lib/python2.6/site-packages/ambari_agent/main.py",line312,inmain(heartbeat_stop_callback)File"/usr/lib/python2.6/site-packages/ambari_agent/main.py",line248,inmainstop_agen

hadoop - ResourceManager 无法启动,错误的调度程序设置

最近YARN和更具体的资源管理器将不会启动。通过/var/log/hadoop-yarn/yarn/yarn-yarn-resourcemanager-scottvih2sa-92-namenode.log中的日志搜索我发现了错误:2015-12-0220:18:13,287FATALresourcemanager.ResourceManager(ResourceManager.java:main(1241))-ErrorstartingResourceManagerjava.lang.IllegalArgumentException:Illegalcapacityof-1.0forn

hadoop - Apache Hue 或 Apache Ambari - 如何手动安装和配置它们

我正在使用zookeeper、oozie、hive和hbase设置5节点hadoop2.5.1集群。我目前已经安装并运行了hadoop2和zookeeper。我想为所有服务设置某种UI管理,以便我可以监控运行状况并从中执行管理任务。我看到Ambari和Hue的所有文档分别面向Hortornworks和Cloudera。这些UI控制台是否有任何分步指南告诉我如何为我现有的hadoop服务配置它们? 最佳答案 Hue有这个blogpost关于如何与任何集群集成。我们也推荐这个doc.它说的是Cloudera,但这对任何Hadoop都是相

hadoop - Ambari 无法启动 Namenode

我的Ambari服务器有问题,它无法启动Namenode。我正在使用HDP2.0.6、Ambari1.4.1。值得一提的是,一旦我启用了Kerberos安全性,就会发生这种情况,我的意思是,当它被禁用时,没有错误。错误是:2015-02-0416:01:48,680ERRORnamenode.EditLogInputStream(EditLogFileInputStream.java:nextOpImpl(173))-caughtexceptioninitializinghttp://int-iot-hadoop-fe-02.novalocal:8480/getJournal?jid=

hadoop - YARN Timeline Service v2 无法启动

我在AWS上设置了一个测试HDP集群,用于评估一个项目。AmbariUI报告了一些错误,当我根据需要重新启动服务时,我遇到了YARN的问题。为YARN启动TimelineServiceReaderV2时,出现错误2018-08-1015:51:06,400INFO[main]client.RpcRetryingCallerImpl:Callexception,tries=15,retries=15,started=129034msago,cancelled=false,msg=CalltoHOSTNAME/IPADDRESS:17020failedonconnectionexcepti

hadoop - 通过oozie运行shell脚本

我正在尝试通过oozie执行shell脚本,但我遇到了一些问题。我有一个这样的属性文件(import.properties):startIndex=2000chunkSize=2000想法是,在每次执行中,startIndex值都会根据block大小进行更新。所以如果我执行它,它应该有startIndex=4000chunkSize=2000我已经单独测试了脚本,它运行良好。这是我的其他相关文件。工作属性nameNode=hdfs://192.168.56.101:8020jobTracker=192.168.56.101:50300wfeRoot=wfequeueName=defau

hadoop - 在 Hortonworks 数据平台上从 Capacity Scheduler 切换到 Fair Scheduler

我的组织目前正在使用HortonworksHDP来管理我们的Hadoop集群。默认的YARN调度器是CapacityScheduler。我想切换到FairScheduler。我对HDP完全陌生。在没有集群管理套件的情况下,这将通过编辑yarn-site.xml并将yarn.resourcemanager.scheduler.class属性更改为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler并创建一个额外的fair-scheduler.xml文件来指定队列配置,如前所述here然后通过在

hadoop - 当安全模式打开时,Ambari 名称节点启动失败。

我在重新启动所有节点后尝试在Ambari中重新启动我的hadoop集群时遇到了一个奇怪的问题。尽管没有进行任何配置更改,名称节点服务无法启动并出现以下错误。>Fail:Executionof'su-s/bin/bash-hdfs-c'export>PATH=$PATH:/usr/hdp/current/hadoop-client/bin;hdfs--config>/etc/hadoop/confdfsadmin-safemodeget'|grep'SafemodeisOFF''>returned1.我环顾四周,发现有人指出了一个非UTF-8编码问题,但没有运气解决这个问题。谁能告诉我这

hadoop - Ext JS 库未在 Oozie 中正确安装

当我访问oozieUI时收到以下消息。Ooziewebconsoleisdisabled.ToenableOoziewebconsoleinstalltheExtJSlibrary.我正在使用HDP分发并通过ambari服务安装程序进行安装。我尝试访问以下链接:https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.4/bk_command-line-installation/content/install_oozie_rpms.html尝试使用yum安装时收到以下消息:$sudoyuminstallextjs-2.2-1Loade