我正在从Clouderaparcel运行CDH4.4和Spark0.9.0。我有一堆通过Pig的AvroStorageUDF创建的Avro文件。我想使用通用记录或Avro文件上的模式将这些文件加载到Spark中。到目前为止，我已经试过了:importorg.apache.avro.mapred.AvroKeyimportorg.apache.avro.mapreduce.AvroKeyInputFormatimportorg.apache.hadoop.io.NullWritableimportorg.apache.commons.lang.StringEscapeUtils.es
我是新的apache-spark。我已经在spark独立模式下测试了一些应用程序。但我想运行应用程序yarn模式。我在windows中运行apache-spark2.1.0。这是我的代码c:\spark>spark-submit2--masteryarn--deploy-modeclient--executor-cores4--jarsC:\DependencyJars\spark-streaming-eventhubs_2.11-2.0.3.jar,C:\DependencyJars\scalaj-http_2.11-2.3.0.jar,C:\DependencyJars\confi
我正在使用排序基准对Spark进行简单的扩展测试——从1个核心到8个核心。我注意到8核比1核慢。//runsparkusing1corespark-submit--masterlocal[1]--classjohn.sortsort.jardata_800MB.txtdata_800MB_output//runsparkusing8coresspark-submit--masterlocal[8]--classjohn.sortsort.jardata_800MB.txtdata_800MB_output每种情况下的输入和输出目录都在HDFS中。1core:80secs8cores:1
有没有办法在Spark中获取maptask的ID？例如，如果每个map任务调用一个用户定义函数，我能否从该用户定义函数中获取该map任务的ID？ 最佳答案 我不确定您所说的maptaskID是什么意思，但您可以使用TaskContext访问任务信息:importorg.apache.spark.TaskContextsc.parallelize(Seq[Int](),4).mapPartitions(_=>{valctx=TaskContext.getvalstageId=ctx.stageIdvalpartId=ctx.parti
我正在使用这个代码示例http://www.vidyasource.com/blog/Programming/Scala/Java/Data/Hadoop/Analytics/2014/01/25/lighting-a-spark-with-hbase使用Spark读取hbase表，唯一的变化是通过代码添加hbase.zookeeper.quorum，因为它不是从hbase-site.xml中选取它。星火1.5.3HBase0.98.0我正面临这个错误-java.lang.IllegalAccessError:com/google/protobuf/HBaseZeroCopyByteS
关闭。这个问题需要更多focused.它目前不接受答案。想改进这个问题吗？更新问题，使其只关注一个问题editingthispost.关闭3年前。Improvethisquestion我们在HDFS中存储了数TB的数据，其中包括客户数据和行为信息。业务分析师希望使用过滤器对这些数据进行切片和切block。这些过滤器类似于SparkRDD过滤器。过滤器的一些示例是:age>18andage,datebetween10-02-2015,20-02-2015,gender=male,countryin(UK,US,India)等。我们希望将此过滤器功能集成到我们基于JSF(或Play)的We
我有一个关于ApacheSpark的一般性问题:我们有一些使用Kafka消息的spark流脚本。问题:它们在没有特定错误的情况下随机失败...有些脚本在我手动运行时什么都不做，其中一个失败并显示此消息:ERRORSparkUI:FailedtobindSparkUIjava.net.BindException:Addressalreadyinuse:Service'SparkUI'failedafter16retries!所以我想知道是否有一种特定的方法可以并行运行脚本？它们都在同一个jar里，我用Supervisor运行它们。Spark安装在ClouderaManager5.4onY
我在用python封装的C++代码上运行一个spark集群。我目前正在测试多线程选项的不同配置(在Python级别或Spark级别)。我在HDFS2.5.4集群上将spark与独立二进制文件一起使用。该集群目前由10个从站组成，每个从站有4个核心。据我所知，默认情况下，Spark每个节点启动4个从节点(我有4个python一次在一个从节点上工作)。我怎样才能限制这个数字？我可以看到我有一个用于“spark-submit”的--total-executor-cores选项，但是关于它如何影响执行程序在集群上的分布的文档很少!我将运行测试以获得一个清晰的想法，但如果有知识的人知道这个选项的
我对大数据和相关领域的概念还很陌生，如果我犯了一些错误或拼写错误，我深表歉意。我想了解ApacheSpark并在开发/测试环境中仅在我的计算机中使用它。由于Hadoop包括HDFS(Hadoop分布式文件系统)和其他只对分布式系统重要的软件，我可以放弃它吗？如果是这样，我在哪里可以下载不需要Hadoop的Spark版本？Here我只能找到Hadoop依赖版本。我需要什么:可以毫无问题地运行Spark的所有功能，但要在一台计算机(我的家用计算机)上运行。我在我的计算机上使用Spark制作的所有东西都应该可以毫无问题地在未来的集群中运行。如果我出于测试目的在我的计算机上运行它，是否有理由为
我已经进行了很多小时的试验和谷歌搜索，但没有成功。我有一个在本地Spark集群中运行良好的SparkStreaming应用程序。现在我需要在cloudera5.4.4上部署它。我需要能够启动它，让它在后台持续运行，并且能够停止它。我试过这个:$spark-submit--masteryarn-cluster--classMyMainmy.jarmyArgs但它只是不停地打印这些行。15/07/2817:58:18INFOClient:Applicationreportforapplication_1438092860895_0012(state:RUNNING)15/07/2817:5
