在AWSEC2上成功部署HDP集群。重启HDP集群节点后，ambari服务器的心跳丢失，因为所有公共(public)和私有(private)IP以及DNS都已更改。在ambari服务器中我们可以在哪里配置新的IP或DNS?? 最佳答案 首先，Ambari要求所有节点都有FQHN。最佳做法是在所有节点上分配正确的主机名。在您的Ambari服务器上恢复心跳的一个简单的方法是在您的所有客户端节点上运行以下命令:sudoambari-agentrestartyour_ambari.server.hostname.com它在Ambari2.0

我有一个简单的spark应用程序，它使用spark-submit在我的笔记本电脑上运行正常。但是，当我在AmazonEC2集群上使用spark-submit运行它时出现此运行时错误:$/root/spark/bin/spark-submit--classapplication.Example--masterspark://ec2-54-227-170-20.compute-1.amazonaws.com:7077/root/example-assembly-0.1-SNAPSHOT.jarjava.lang.IncompatibleClassChangeError:Foundclass

我最近失去了通过ssh将我的主人连接到我的奴隶和辅助名称节点的能力。我有4个EC2实例，上面有一个hadoop集群(一个NameNode、一个辅助nameNode和2个从节点)。我仍然可以用putty建立ssh连接，但是我无法实现如下的ssh连接:sshubuntu@instanceDns。我有以下错误:Permissiondenied(publickey).我确定我没有对ssh连接进行任何更改，所以我有点惊讶。这是一个详细的ssh连接试探性屏幕。我注意到我的.ssh文件中不再有id_rsa、id_rsa-cert和其他文件。我猜他们以前在这里，但我不知道他们会这样消失。为什么会这样？

我试图通过在hdfs-site.xml中的dfs.name.dir中添加卷的位置来向Hadoop伪分布式节点添加新卷>，我可以在这个位置看到锁定文件-但尽我所能尝试，似乎当我加载文件(使用配置单元)时，这些位置几乎没有被使用(即使锁定文件和一些子文件夹出现..所以Hadoop显然可以访问它们)。当主卷即将用完空间时，我会收到以下异常:Failedwithexceptionjava.io.IOException:File/tmp/hive-ubuntu/hive_2011-02-24_15-39-15_997_1889807000233475717/-ext-10000/test.csv

我有一个在Ec2d2.xlarge实例上运行的2Node集群，我有一个10Gb的文件要通过Spark处理，我在spark上安装了一个本地磁盘并在那里生成了10gb的数据集，但是当我我试图将其放入Hdfs中，它向我抛出错误"couldonlybereplicatedto0nodes,insteadof1"如下16/03/0921:44:25WARNhdfs.DFSClient:DataStreamerException:org.apache.hadoop.ipc.RemoteException:java.io.IOException:File/vinit/inputfile.txtcou

我在Chef中有以下recipe/default.rb:#CreateemptyRSApasswordtemplate"#{node[:cluster][:ubuntu]}/my_key.pem"dosource"keys.pem.erb"mode0400owner"ubuntu"group"ubuntu"endbash"ssh-passwordless"douser"ubuntu"cwd"#{node[:cluster][:ubuntu]}"code/tmp/tmp.pubkey;mkdir-p.ssh;touch.ssh/authorized_keys;grep#{node[:fq

我创建了一个公共(public)VPC，然后向其中添加了一堆节点，以便我可以将其用于spark集群。不幸的是，它们都具有如下所示的分区设置:ec2-user@sparkslave1:lsblk/dev/xvda100G/dev/xvda15.7G/我在这些机器上设置了一个云管理器，所有节点只剩下1G空间给HDFS。如何扩展分区以占用所有100G？我尝试创建/dev/xvda2，然后创建一个卷组，将所有/dev/xvda*添加到其中，但/dev/xvda1在挂载时没有添加。在这种情况下，我无法从liveCD启动，它在AWS上。我也试过resize2fs但它说根分区已经占用了所有可用的bl

我有这个由其他人编写的hadoop项目(链接)。我有消息来源。我想在我的集群(基本上是3台ubuntu机器)上实现它。但是提到的项目在EC2平台(使用Cloudera发行版)上运行。那么，我应该在我的系统上安装什么才能使其具有运行此类项目的软件？我想到了ClouderaManager、OracleJava。 最佳答案 如果该项目使用cloudera发行版(而不是EMR)，您可以安装cloudera，它应该没问题。只有一个角落我可以预期有问题-如果s3被用作文件系统。如果该项目确实对s3有效，您有两种方法:a)尝试将s3替换为hdfs

我在AmazonEC2上设置了一个包含两个节点的hadoop集群。它运作良好。我可以使用hadoopapi(附加java程序)从主节点或与hadoop集群位于同一Amazon区域的其他实例将数据上传到HDFS。但是，当我想从我的本地非hadoop机器上执行此操作时，结果如下所示:然后我登录到hadoop名称节点以使用命令行进行检查。文件夹“testdir”已创建，但上传文件“myfile”的大小为0。==================这是分隔符===============================这些是异常(exception)情况Apr18,201310:40:47AMor

场景我创建了一个名为“my-role”的AWSIAM角色，将EC2指定为可信实体，即使用信任关系策略文档:{"Version":"2012-10-17","Statement":[{"Sid":"","Effect":"Allow","Principal":{"Service":"ec2.amazonaws.com"},"Action":"sts:AssumeRole"}]}该角色具有以下策略:{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Action":["s3:AbortMultipartUpload","s3:De