草庐IT

scala - Spark : check your cluster UI to ensure that workers are registered

coder 2024-01-05 原文

我在 Spark 中有一个简单的程序:

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
  def main(args: Array[String]) {
    val conf = new SparkConf().setMaster("spark://10.250.7.117:7077").setAppName("Simple Application").set("spark.cores.max","2")
    val sc = new SparkContext(conf)    
    val ratingsFile = sc.textFile("hdfs://hostname:8020/user/hdfs/mydata/movieLens/ds_small/ratings.csv")

    //first get the first 10 records 
    println("Getting the first 10 records: ")
    ratingsFile.take(10)    

    //get the number of records in the movie ratings file
    println("The number of records in the movie list are : ")
    ratingsFile.count() 
  }
}

当我尝试从 spark-shell 运行这个程序时，即我登录到名称节点(Cloudera 安装)并在 spark-shell 上按顺序运行命令:

val ratingsFile = sc.textFile("hdfs://hostname:8020/user/hdfs/mydata/movieLens/ds_small/ratings.csv")
println("Getting the first 10 records: ")
ratingsFile.take(10)    
println("The number of records in the movie list are : ")
ratingsFile.count()

我得到了正确的结果，但是如果我尝试从 eclipse 运行该程序，则没有资源分配给该程序并且在控制台日志中我看到的是:

WARN TaskSchedulerImpl:初始作业尚未接受任何资源；检查您的集群 UI 以确保工作人员已注册并拥有足够的资源

另外，在 Spark UI 中，我看到了这个:

Job keeps Running - Spark

另外，应该注意的是，这个版本的 spark 是与 Cloudera 一起安装的(因此没有工作节点出现)。

我应该怎么做才能使这项工作正常进行？

编辑:

我检查了 HistoryServer 并且这些作业没有显示在那里(即使在不完整的应用程序中)

最佳答案

我已经为许多 Spark 集群完成了配置和性能调整，当您首次准备/配置集群以处理您的工作负载时，这是一条非常常见/正常的消息。

这显然是因为没有足够的资源来启 Action 业。该工作请求以下之一:

  • 每个 worker 的内存多于分配给它的内存 (1GB)
  • 集群上的 CPU 多于可用资源

关于scala - Spark : check your cluster UI to ensure that workers are registered，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/35662596/

registeredclustersectionratingsFile34scalahadoopapache-sparkclouderacloudera-manager

有关scala - Spark : check your cluster UI to ensure that workers are registered的更多相关文章

  1. ruby - 分布式事务和队列，ruby，erlang，scala - 2

    我有一个涉及多台机器、消息队列和事务的问题。因此，例如用户点击网页，点击将消息发送到另一台机器，该机器将付款添加到用户的帐户。每秒可能有数千次点击。事务的所有方面都应该是容错的。我以前从未遇到过这样的事情，但一些阅读表明这是一个众所周知的问题。所以我的问题。我假设安全的方法是使用两阶段提交，但协议(protocol)是阻塞的，所以我不会获得所需的性能，我是否正确？我通常写Ruby，但似乎Redis之类的数据库和Rescue、RabbitMQ等消息队列系统对我的帮助不大——即使我实现某种两阶段提交，如果Redis崩溃，数据也会丢失，因为它本质上只是内存。所有这些让我开始关注erlang和

  2. Spark的常用SQL日期函数 - 2

    一、获取当前时间1、current_date当前日期（年月日）Examples：SELECTcurrent_date;2、current_timestamp/now()当前日期（时间戳）Examples：SELECTcurrent_timestamp;二、从日期字段中提取时间1、year,month,day/dayofmonth,hour,minute,secondExamples：SELECTyear(now())；其他的日期函数以此类推month:1day:12（当月的第几天）dayofmonth：12hour,minute,second：分别对应时分秒2、dayofweek、dayofm

  3. ruby - Rubys 的 each_slice 的 Scala 版本？ - 2

    Scala有Rubys的版本吗each_slice来自Array类？ 最佳答案 Scala2.8有grouped将数据分成大小为n的block(可用于实现each_slice功能):scala>vala=Array(1,2,3,4,5,6)a:Array[Int]=Array(1,2,3,4,5,6)scala>a.grouped(2).foreach(i=>println(i.reduceLeft(_+_)))3711据我所知，在2.7.x中没有任何东西可以开箱即用，但是从take(n)和drop(n)来自RandomAccess

  4. ruby - Scala 缺少哪些动态语言(如 Ruby 或 Clojure)的特性？ - 2

    当您选择Scala(或F#、Haskell、C#)等静态类型语言而不是Ruby、Python、Clojure、Groovy(具有宏或运行时元编程功能)等动态类型语言时，您在实践中失去了什么)?请考虑最好的静态类型语言和最好的(在您看来)动态类型的语言，而不是最差的。答案总结:恕我直言，Ruby等动态语言相对于Scala等静态类型语言的主要优势是:快速的编辑-运行周期(JavaRebel是否缩小了差距？)目前Scala/Lift社区比Ruby/Rails或Python/Django小得多可以修改类型定义(尽管动机或需要不是很清楚) 最佳答案

  5. Spark RDD转换成DataFrame的两种方式 - 2

    spark官方提供了两种方法实现从RDD转换到DataFrame。第一种方法是利用反射机制来推断包含特定类型对象的Schema，这种方式适用于对已知的数据结构的RDD转换； 第二种方法通过编程接口构造一个Schema，并将其应用在已知的RDD数据中。一、反射机制推断Schema实现反射机制Schema需要定义一个caseclass样例类，定义字段和属性，样例类的参数名称会被反射机制利用作为列名objectRddToDataFrameByReflect{//定义一个student样例类caseclassStudent(name:String,age:Int)defmain(args:Array[

  6. Spark Kafka流媒体 - 如何确定批次的末端 - 2

    我使用Kafka流媒体从KAFKA主题中消费。（KafkaDirect流）此主题中的数据每5分钟从另一个来源到达。现在，我需要处理每5分钟后到达的数据，并将其转换为SparkDataFrame。现在，流是数据的连续流。我的问题是，如何确定我已经完成了在Kafka主题中加载的第一组数据的阅读？（以便我可以将其转换为数据框架并开始我的工作）我知道我可以提及某个数字的批处理间隔（在JavastreamingContext中），但是即使那样，我也永远无法确定源将数据将数据推到主题的时间。欢迎任何建议。看答案如果我正确理解您的问题，您希望不创建批处理，直到阅读5分钟的所有数据。开箱即用的Spark不会提

  7. Spark Java：发布通话无法正常工作 - 2

    问题：帖子的请求参数作为请求主体，而不是请求参数。我正在使用下面的此语法来调用SparkJavaWeb服务。http：//localhost：8080/cumbcustomer？custId＃4＆amp;name=fredj"SparkJava告诉我：请求IP0：0：0：0：0：0：0：0：1请求动词post请求接收到：CUSTID＃4＆amp;name=fredj（-＆gt;request.body.body（））url接收：http：//localhost：8080/cumbscustomer有什么想法为什么这些变量作为请求主体而不是请求参数的一部分出现？提前致谢，看答案利用request

  8. ruby - 来自 Rubyist 的关于 Scala 的问题 - 2

    我最近在业余时间四处寻找学习一门新语言，Scala似乎很有吸引力。我有几个问题:不知道Java会强加一个挑战学习吗？那将会一个很大的缺点稍后的？(即人们多久依赖一次特定于Java的库？)差别有多大与ruby相比？(除了被静态类型)是否引入很多新术语，或者我会熟悉大多数语言机制？您会推荐哪些资源？我关注ProgrammingScala和BeginningScala书籍虽然主观，但使用Scala编程是否有趣？:P谢谢 最佳答案 Ruby和Scala之间有许多共同的概念。我已经有一段时间没有编写Ruby代码了，所以这并不详尽。RubySc

  9. Ruby vs Scala——各自的优缺点 - 2

    按照目前的情况，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visitthehelpcenter指导。关闭11年前。有什么好处和限制Scala与Ruby比较的语言，尤其是从Web应用程序开发人员的角度来看？强烈欢迎比较图表和证明链接。P.S.这不是圣战题(-:

  10. ruby - Scala 的扩展性是否优于其他 JVM 语言？ - 2

    这是我目前知道的唯一询问方式。据了解，Scala使用Java虚拟机。我以为Jruby也是。Twitter将其中间件切换为Scala。他们可以做同样的事情并使用Jruby吗？他们是否可以从Jruby开始，而不是因为扩展问题导致他们首先从Ruby迁移到Scala？我不明白Jruby是什么吗？我假设因为Jruby可以使用Java，所以它可以扩展到Ruby不能的地方。在这种情况下，一切都归结为静态类型与动态类型吗？ 最佳答案 Scala是“可扩展的”，因为语言可以通过库进行改进，使扩展看起来像是语言的一部分。这就是为什么actors看起来像

随机推荐