草庐IT

hadoop - Apache Storm Watchdog - Supervisord 阻塞 Ambari?i

我目前正在玩Hortonworks新的HDP2.2预览版,发现storm有一些奇怪的行为。许多教程建议您将supervisord安装为看门狗进程,因为storm是一个快速失败的应用程序。当Storm降临时,你需要一些东西来重新启动它。我使用easy_install来设置supervisord,因为yum给你的是旧的2.1版本。我目前安装了版本3。我调出沙箱,启动各种Storm点点滴滴,一切正常。然后我安装supervisord,设置supervisord.conf文件以在底部包含以下内容:[program:storm-nimbus]command=stormnimbusdirector

hadoop - Datanode 越来越死 ambari hadoop

我已经使用ambari1.7设置了hadoop集群我遇到了一个奇怪的问题。第一次数据节点启动,但在几分之一秒内自动停止。当我尝试重新启动datanode时,它​​没有启动。请帮我解决这个问题。重启datanode的日志如下2015-01-2617:58:02,233-Errorwhileexecutingcommand'start':Traceback(mostrecentcalllast):File"/usr/lib/python2.6/site-packages/resource_management/libraries/script/script.py",line123,inex

hadoop - 使用 Apache Ambari 在非 hadoop 节点上部署自定义服务

我想使用ApacheAmbari将自定义服务部署到非hadoop节点上。我在里面创建了一个自定义服务/var/lib/ambari-server/resources/common-services而不是Hadoop的文件夹:/var/lib/ambari-server/resources/stacks/HDP然后我重新启动了我的ambari-server。但是对于网络,我看不到我的新服务。我是否遗漏了什么,我必须在任何地方注册我的定制服务吗?嗨,我不想将我的服务版本硬编码到metainfo.xml中,我可以这样做吗?DUMMY_APPMyDummyAPPThisisadistribut

hadoop - Pig 服务检查失败使用 - 用户 : rm/sandbox. hortonworks.com@HDP-SANDBOX 不允许模拟 ambari-qa

我使用Ambari运行了pig服务检查,但它失败了并出现以下异常。2016-04-0920:35:19,399[JobControl]INFOorg.apache.hadoop.mapreduce.JobSubmitter-Cleaningupthestagingarea/user/ambari-qa/.staging/job_1460043791266_00122016-04-0920:35:19,407[JobControl]INFOorg.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob-PigLatin:pigSmoke.

hadoop - 在 HDP 2.6 中的 Ambari 中启动 Hive 时出现异常

错误信息:Caughtanexceptionwhileexecutingcustomservicecommand::[Errno13]Permissiondenied:'/var/lib/ambari-agent/cred/conf/hive/hive-site.jceks';[Errno13]Permissiondenied:'/var/lib/ambari-agent/cred/conf/hive/hive-site.jceks'文件存在,将其设置为777并不能解决问题。启动失败的服务是“MySQLServer”。我可以在命令行上启动和重新启动msqld。

amazon-web-services - 无法将 AWS 主机注册到 Ambari 服务器

将主机注册到Ambari-server集群时,出现以下错误。“在1个未能注册的主机上跳过了主机检查。”我正在尝试在AWS实例上安装HDP2.5版本。我已尝试遵循Hortonworks的文档。https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.0.3/bk_ambari-installation/content/set_the_hostname.html我已将公共(public)IP地址和公共(public)主机名添加到/etc/hosts文件,并更改服务器和主机上/etc/hostname文件中的主机名。重新启动两者,主机名已更改。

hadoop - Hortonworks HDP ambari AWS EC2 心跳丢失

在AWSEC2上成功部署HDP集群。重启HDP集群节点后,ambari服务器的心跳丢失,因为所有公共(public)和私有(private)IP以及DNS都已更改。在ambari服务器中我们可以在哪里配置新的IP或DNS?? 最佳答案 首先,Ambari要求所有节点都有FQHN。最佳做法是在所有节点上分配正确的主机名。在您的Ambari服务器上恢复心跳的一个简单的方法是在您的所有客户端节点上运行以下命令:sudoambari-agentrestartyour_ambari.server.hostname.com它在Ambari2.0

hadoop - Ambari - 配置单元 View F080 错误

我在Ambari的帮助下在运行CentOS6的3机集群上安装了HDP2.2.0,并且在安装过程中没有出现任何错误。然后我按照描述安装了HiveViewhere,以及必要的TezView,但每当我尝试使用该View进行查询时(即使是简单的SHOWTABLES;),我都会收到此错误:F080Errorincreation/user/zenuser/hive/jobs/hive-job-7-2015-07-15_10-32...到目前为止我什么也没发现,我不知道在哪里可以存储更精确的日志。有什么想法吗? 最佳答案 问题来自文件权限。解决此

scala - Zeppelin 集群模式不适用于 spark 1.2 Ambari、Hortonworks Cluster

我正在尝试部署一个集群并在其上运行一些示例Spark/scala代码,虽然当我在独立模式下使用默认参数使用zeppelin时一切正常,但我无法让它在集群模式下工作。我尝试在spark中使用spark-class和start-master标准shell文件手动创建spark集群,然后通过spark://..Zeppelin的URL,但是在运行代码后,我不断收到不同的异常错误(例如缺少javasys.process._库),一段时间后,sparkworker的状态在SparkMasterUI中变为DEAD我还尝试将yarn-client而不是spark-URL放入zeppelinspark

hadoop - Ambari 自定义 Hadoop 安装

我已经下载并构建了一些大数据服务(Hadoop、Hive、Spark等),我想使用Ambari部署它。Ambari已经设置了一些版本(HDPStacks),我想用我自己编译的二进制文件来配置它。有人可以帮我完成这个任务吗?关于它的某种指南或教程?非常感谢,萨尔蒂斯。 最佳答案 HDP是Ambari的堆栈定义,您需要的是自定义堆栈定义。您可以按照Ambari在其wiki上提供的大纲来定义自己的堆栈:How-ToDefineStacksandServices. 关于hadoop-Ambari