Apachespark1.2.1Standalone集群中的Dose，“执行程序的数量等于SPARK_WORKER_INSTANCES的数量”？Ihavedonebelowsettinginconf/spark-env.shSPARK_EXECUTOR_CORES=4SPARK_NUM_EXECUTORS=3SPARK_EXECUTOR_MEMORY=2G如果没有，谁能告诉我如何增加独立集群中的执行程序数量？提前致谢。 最佳答案 在独立模式下，总执行器数量等于集群中的总工作器数量。spark-env.sh中的SPARK_WORKER
我有这些行:(key1,Illinois|111|67342|...)(key1,Illinois|121|67142|...)(key2,Hawaii|113|67343|...)(key1,Illinois|211|67442|...)(key3,Hawaii|153|66343|...)(key3,Ohio|193|68343|...)(1)如何获得唯一key？(2)如何获取每个键的行数(键1-3行，键2-1行，键3-2行...因此输出为:3,1,2)(3)如何获取每个键的行的字节大小(5MB,2MB,3MB)编辑1.这是我的新代码:valrdd:RDD[(String,Arra
我需要有关如何计算在spark独立集群中的xmb(假设x表示600mb)上运行需要多少堆空间(内存)的信息。场景:我有14GB内存和8个内核的独立集群。我想对600MB的数据进行操作(从文件中读取数据并将其写入Cassandra)。对于此任务，我将SparkConfig作为:.set("spark.cassandra.output.throughput_mb_per_sec","800").set("spark.storage.memoryFraction","0.3")提交任务时--executor-memory=5g--total-executor-cores6--driver-m
您好，我正在使用独立的hbase，我想在上面测试spark。我的机器上没有hadoop。当我尝试使用HBaseTest.scala获取表的计数时(在scala示例中)我收到以下错误:ERRORTableInputFormat:java.io.IOException:java.lang.reflect.InvocationTargetExceptionatorg.apache.hadoop.hbase.client.HConnectionManager.createConnection(HConnectionManager.java:416)atorg.apache.hadoop.hba
我使用bdutil在Hadoop(2.6)集群上部署了带有yarn-client的Spark(1.3.1)，默认情况下，实例是使用临时外部ips创建的，到目前为止spark工作正常。考虑到一些安全问题，并假设集群只能在内部访问，我从实例中删除了外部ips；在那之后，spark-shell甚至不会运行，并且似乎无法与Yarn/Hadoop通信，并且会无限期地卡住。只有在我重新添加外部ips之后，spark-shell才开始正常工作。我的问题是，运行sparkoveryarn是否需要节点的外部ips，为什么？如果是，是否会有关于安全等方面的担忧？谢谢! 最佳答案
我的spark版本是1.2.0，场景是这样的:有两个RDD，分别是RDD_A和RDD_B，其数据结构都是RDD[(spid,the_same_spid)]。RDD_A有20,000行，而RDD_B有3,000,000,000行。我打算计算其“spid”存在于RDD_A中的RDD_B的行数。我的第一个实现相当主流，在RDD_A上应用RDD_B的join方法:valcurrentDay=args(0)valconf=newSparkConf().setAppName("Spark-MonitorPlus-LogStatistic")valsc=newSparkContext(conf)//
我有大量数据作为Parquet文件存储在我的HadoopHDFS上我正在使用Spark流以交互方式接收来自Web服务器的查询，并将接收到的查询转换为SQL，以便使用SparkSQL在我的数据上运行。在此过程中，我需要运行多个SQL查询，然后通过合并或减去各个查询的结果来返回一些聚合结果。有没有什么方法可以优化和提高流程速度，例如，对已收到的数据帧而不是整个数据库运行查询？有没有更好的方式来交互查询Parquet存储的数据并给出结果？谢谢! 最佳答案 如果您在同一个RDD上运行多个查询，您可以通过在查询之前使用.cache()缓存RD
我需要使用Spark(首选Scala)将AWSS3和HDFS中文件夹中的csv.gz文件转换为Parquet文件。数据的一列是时间戳，我只有一周的数据集。时间戳格式为:'yyyy-MM-ddhh:mm:ss'我想要的输出是，对于每一天，都有一个文件夹(或分区)，其中包含该特定日期的Parquet文件。所以会有7个输出文件夹或分区。我对如何执行此操作只有一个模糊的想法，我脑子里只有sc.textFile。Spark中是否有可以转换为Parquet的函数？我如何在S3和HDFS中实现它？谢谢你的帮助。 最佳答案 如果您查看SparkDa
其他任何人都可以帮助我了解如何根据我写的“键”分析推特数据。我找到了这段代码，但这给我一个错误。importjava.io.Fileimportcom.google.gson.Gsonimportorg.apache.spark.streaming.twitter.TwitterUtilsimportorg.apache.spark.streaming.{Seconds,StreamingContext}importorg.apache.spark.{SparkConf,SparkContext}/***Collectatleastthespecifiednumberoftweetsi
我一直在使用scalaIDE中的spark从我的本地系统连接到Hive(在集群中)，最后将我的hive-site.xml正确地放置在Spark/conf文件夹和类路径中并且能够连接到Metastore但是无法访问配置单元表。如何更改HiveContext的用户15/12/2210:28:42INFOParseDriver:解析命令:显示表15/12/2210:28:43信息ParseDriver:解析已完成15/12/2210:28:45信息Metastore:尝试使用URIthrift://Server.com:9083连接到Metastore22年12月15日10:28:46信息J
