我在我的开发机器上写了一个spark程序，它是一台mac。hadoop的版本是2.6，spark的版本是1.6.2。hadoop集群有3个节点，当然都是在linux机器上。我在ideaIDE中以spark独立模式运行spark程序，它运行成功。但是现在，我改成yarn-client模式，还是不行，提示信息如下:...2017-02-2311:01:33,725-[HL]INFOmainorg.apache.hadoop.yarn.client.RMProxy-ConnectingtoResourceManagerat/0.0.0.0:80322017-02-2311:01:34,839
我有一个4节点集群(1个名称节点/资源管理器3个数据节点/节点管理器)我正在尝试运行一个简单的tez示例orderedWordCounthadoopjarC:\HDP\tez-0.4.0.2.1.1.0-1621\tez-mapreduce-examples-0.4.0.2.1.1.0-1621.jarorderedwordcountsample/test.txt/sample/out作业被接受，Applicationmaster和容器被设置但是在节点管理器上我看到了这些日志2014-09-1017:53:31,982INFO[ServiceThread:org.apache.tez.
我在AWS上设置了一个Hadoop/Yarn集群，我有一个主节点和3个从节点。我已经验证我有3个事件节点在端口50070和8088上运行。我在客户端部署模式下测试了一个spark作业，一切正常。当我尝试使用./spark-2.1.1-bin-hadoop2.7/bin/spark-submit--masteryarn--deploy-modeclusterip.py提交作业时。我收到以下错误。Diagnostics:Filedoesnotexist:hdfs://ec2-54-153-50-11.us-west-1.compute.amazonaws.com:9000/user/ubu
先决条件假设ApacheSpark使用YARN部署在hadoop集群上。此外，Spark执行正在运行。Spark是如何处理下面列出的情况的？案例与问题hadoop集群的一个节点由于磁盘错误而失败。但是复制足够高并且没有数据丢失。在该节点上运行的任务会怎样？hadoop集群的一个节点由于磁盘错误而失败。复制不足够高，数据丢失了。Simplyspark再也找不到预先配置为工作流资源的文件。它将如何处理这种情况？在执行期间主名称节点故障转移。spark是否自动使用故障转移名称节点？当辅助名称节点也发生故障时会发生什么情况？由于工作流程中的某些原因，集群完全关闭。spark会随着集群自动重启吗
我有一个包含1个主节点和6个从节点的集群，它使用预构建版本的hadoop2.6.0和spark1.6.2。我正在运行hadoopMR和spark作业，所有节点上都安装了openjdk7，没有任何问题。但是，当我在所有节点上将openjdk7升级到openjdk8时，sparksubmit和spark-shellwithyarn导致了错误。16/08/1714:06:22ERRORclient.TransportClient:FailedtosendRPC4688442384427245199to/xxx.xxx.xxx.xx:42955:java.nio.channels.Closed
我想使用ApacheYARN作为集群和资源管理器来运行一个框架，在这个框架中资源将在同一框架的不同任务之间共享。我想使用我自己的分布式堆外文件系统。是否可以将任何其他分布式文件系统与YARN一起使用除了HDFS？如果是，需要实现哪些HDFSAPI？运行YARN需要哪些Hadoop组件？ 最佳答案 这里有一些不同的问题您可以使用YARN部署应用程序，使用类似S3的东西来传播二进制文件吗？是的:LinkedIn过去就是这样部署Samza的，使用http://下载。Samza不需要集群文件系统，因此集群中没有运行hdfs，只有本地file
我的YARN集群中的一个节点有64GB内存和24个内核。我在yarn-site.xml中设置了以下属性:yarn.nodemanager.resource.memory-mb32768yarn.nodemanager.resource.cpu-vcores16但是我发现节点中的nodemanager仍然只有7个容器。我需要设置哪些其他属性？ 最佳答案 你需要告诉YARN如何将内存分解为容器，例如，如果你将每个容器的内存设置为2GB将为你提供16个容器yarn.scheduler.minimum-allocation-mb2048
我正在阅读第4版的“Hadoop权威指南”，并看到了对YARN的DRF的解释(在第4章，主导资源公平性中)Imagineaclusterwithatotalof100CPUsand10TBofmemory.ApplicationArequestscontainersof(2CPUs,300GB),andapplicationBrequestscontainersof(6CPUs,100GB).A’srequestis(2%,3%)ofthecluster,somemoryisdominantsinceitsproportion(3%)islargerthanCPU’s(2%).B’sr
当使用以下脚本在YARN(Hadoop2.6.0.2.2.0.0-2041)上运行Spark1.3.0Pi示例时:#RunonaYARNclusterexportHADOOP_CONF_DIR=/etc/hadoop/conf/var/home2/test/spark/bin/spark-submit\--classorg.apache.spark.examples.SparkPi\--masteryarn-cluster\--executor-memory3G\--num-executors50\/var/home2/test/spark/lib/spark-examples-1.3
在一台有两个inet的机器上设置一个spark集群，一个公用另一个私有(private)。集群中的/etc/hosts文件具有集群中所有其他机器的内部ip，如下所示。internal_ipFQDN但是，当我在YARN客户端模式(pyspark--masteryarn--deploy-modeclient)下通过pyspark请求SparkContext时，akka绑定(bind)到公共(public)ip，因此发生超时。15/11/0723:29:23INFORemoting:Startingremoting15/11/0723:29:23INFORemoting:Remotingst
