您好,我正在做我的一个项目,我创建了5台机器的虚拟机,它在开发环境中运行良好,但我对虚拟机集群好还是需要使用物理系统集群有一些困惑。 最佳答案 Hadoop是为物理系统开发的,但它会在虚拟环境中发挥不同程度的成功,这取决于具体的环境。这实际上是hadoop邮件列表上的一个非常常见的问题,Hadoop开发人员在HadoopWiki文章中专门解决了这个问题:VirtualHadoop.本文介绍了每种方法的优点/缺点,并讨论了云部署。您应该阅读本文,看看您属于哪种部署方案,并评估您的VM设置中可能存在的问题。
IAE是否支持HiveLLAP功能?如果是,如何使用AmbariUI启用它?我尝试根据tutorialfromHortonworks启用但我收到错误:$hiveLogginginitializedusingconfigurationinfile:/etc/hive/2.6.5.0-292/0/hive-log4j.propertiesExceptioninthread"main"java.lang.RuntimeException:org.apache.tez.dag.api.TezException:org.apache.hadoop.yarn.exceptions.YarnExce
我有一个使用HortonworksDataPlatform2.6.1构建的HBase集群,我想编辑hdfs-default.xml中的一些属性。我们可以使用ambariUI编辑hdfs-default.xml吗?如果我们在所有节点中手动编辑文件,我们需要重新启动哪些服务? 最佳答案 是的,你可以,但Ambari不会编辑默认文件,它会编辑hdfs-site.xml,你至少需要重新启动每个HDFS客户端和服务才能进行更改产生影响。不要手动编辑磁盘上的文件-Ambari会在下次服务重启时覆盖它们
我正在寻找如何安装hortonworks(hdp)集群的说明,使用ambari作为静默安装。我在ambari-server的手册中看到有这样做的选项,但它使用了默认值。amabri-serversetup-s(安装程序静默运行。接受所有默认提示值。)我该怎么做?我该如何更改默认值?我需要它的原因是为了我们的夜间构建。 最佳答案 这不是一个非常优雅的解决方案,但我使用expect通过生成ambari-server设置并自动将预配置值放入提示中来自动安装。 关于hadoop-如何?使用amb
我正在尝试通过Ambari1.7在Centos6.5节点上安装HDP2.2。我必须承认安装说明有点困惑,但我相信我已经完成了Ambari安装向导工作所需的所有必要步骤。Ambari服务器设置很顺利,我已经为Ambari创建了一个MySQL数据库并运行了生成模式的创建SQL脚本等。现在,当我尝试通过向导注册主机时,出现异常,提示我的主机不存在于数据库中。好吧,没错,我的主机表是空的。我的最终问题是如何通过此错误并继续安装。但我相信它可能就像需要运行一些插入到ambari数据库主机表的脚本一样简单。有谁知道该表何时被写入?我已经使用完全限定的主机名和安装指南中提到的各种其他配置更改更新了我
我使用ApacheAmbari安装了HDP,并看到它使用内置的默认数据库->PostgreSQL。使用ApacheAmbari安装HDP需要什么数据库? 最佳答案 Ambari用于配置、管理和监控Hadoop集群。为了使它有足够的能力做所有这些事情,它必须保留有关集群中所有服务的大量信息,并在数据库中跟踪所有这些信息。例如,所有服务配置都存储在一个中心位置(数据库)(hbase-site.xml、yarn-site.xml等),然后由ambari-agent进程写入到每个节点。另一个例子是服务状态。Ambari跟踪服务处于什么状态(
我对Spark和Ambari的集群安装还比较陌生。最近,我接到一个任务,要在一个集群上安装Spark2.1.0,该集群预装了带有Spark1.6.2和HDFS&YARN2.7.3的Ambari。我的任务是安装Spark2.1.0,因为它是最新版本,与RSpark等具有更好的兼容性。我在互联网上搜索了几天,只在AWS或Spark2.1.0上找到了一些安装指南。例如:http://data-flair.training/blogs/install-deploy-run-spark-2-x-multi-node-cluster-step-by-step-guide/和http://spark
我正在尝试使用thistutorial在我的EC2实例上设置Hadoop.当我收到此错误时,我正在尝试设置ambari服务器:[root@ip-xxx-xxx-xxx-xxxec2-user]#ambari-serversetupUsingpython/usr/bin/python2.6Setupambari-serverCheckingSELinux...WARNING:Couldnotrun/usr/sbin/sestatus:OKAmbari-serverdaemonisconfiguredtorununderuser'root'.Changethissetting[y/n](n
我试图弄清楚我们是否可以将Ambari与非HDP组件或服务(如ElasticSearch或Tomcat或类似的东西)一起使用。我读到Ambari使用RESTfulAPI与支持的组件交互。可以对我提到的其他服务做类似的事情吗?有人这样做过吗?如果是这样,它是如何完成的? 最佳答案 是的,AmbariStacks(自1.5.0或更高版本)可以管理自定义服务。 关于rest-将Ambari与非HDP组件一起使用,我们在StackOverflow上找到一个类似的问题:
我尝试使用Ambari来管理Hadoop集群的安装和维护。启动ambariserver后,使用网页搭建Hadoop集群。但是在第3步--确认hosts时,报错如下然后我检查了/var/log/ambari-server的日志,我发现:INFO:root:BootStrappinghosts['qiao']using/usr/lib/python2.6/site-packages/ambari_serverclusterprimaryOS:redhat6withuser'root'sshKeyFile/var/run/ambari-server/bootstrap/1/sshKeypas