我需要从spark在远程配置单元服务器上执行配置单元查询，但由于某些原因我只收到列名(没有数据)。表中有可用数据，我通过HUE和javajdbc连接检查了它。这是我的代码示例:valtest=spark.read.option("url","jdbc:hive2://remote.hive.server:10000/work_base").option("user","user").option("password","password").option("dbtable","some_table_with_data").option("driver","org.apache.hive
我使用Spark1.3.0并将Parquet文件写入OpenstackSwift对象存储已有一段时间了。我正在为Parquet文件使用大约12个分区，这些文件将Parquet文件写入Swift的几个部分。写入文件没有问题。但是当我尝试通过Spark读取它时，出现了这个错误:ERRORExecutor:Exceptionintask9.0instage2.0(TID22)java.io.EOFExceptionatjava.io.DataInputStream.readFully(DataInputStream.java:197)atjava.io.DataInputStream.rea
背景:-我正在将HDP与spark1.6.0和hive1.2.1一起使用遵循的步骤:-创建一个配置单元表:-hive>CREATETABLEorctest(PROD_IDbigint,CUST_IDbigint,TIME_IDtimestamp,CHANNEL_IDbigint,PROMO_IDbigint,QUANTITY_SOLDdecimal(10,0),AMOUNT_SOLDdecimal(10,0))CLUSTEREDBY(PROD_ID)INTO32BUCKETSSTOREDASORCTBLPROPERTIES("orc.compress"="SNAPPY","transa
在我安装ApacheLivy的机器上(在Ubuntu16.04上):(a)是否可以在SparkStandalone模式下运行它？我正在考虑使用Spark1.6.3，它是为Hadoop2.6预构建的，可从以下网址下载https://spark.apache.org/downloads.html(b)如果是，我该如何配置？(c)SparkStandalone的HADOOP_CONF_DIR应该是什么？链接https://github.com/cloudera/livy提到了以下环境变量:exportSPARK_HOME=/usr/lib/sparkexportHADOOP_CONF_DIR
我正在尝试运行测试Spark脚本以将Spark连接到hadoop。脚本如下frompysparkimportSparkContextsc=SparkContext("local","SimpleApp")file=sc.textFile("hdfs://hadoop_node.place:9000/errs.txt")errors=file.filter(lambdaline:"ERROR"inline)errors.count()当我用pyspark运行它时，我得到了py4j.protocol.Py4JJavaError:Anerroroccurredwhilecallingo21.
我正在运行一个Spark作业(版本1.2.0)，输入是Google云存储桶内的一个文件夹(即gs://mybucket/folder)在我的Mac机器上本地运行作业时，出现以下错误:5932[main]ERRORcom.doit.customer.dataconverter.Phase1-Jobfordate:2014_09_23failedwitherror:NoFileSystemforscheme:gs我知道需要完成两件事才能支持gs路径。一种是安装GCS连接器，另一种是在Hadoop安装的core-site.xml中进行以下设置:fs.gs.implcom.google.clo
我试图了解在以集群模式部署Yarn时，SparkDriver是否是单点故障。因此，我想在这种情况下更好地了解有关SparkDriver的YARN容器的故障转移过程的内部结构。我知道Spark驱动程序将在Yarn容器内的SparkApplicationMaster中运行。如果需要，SparkApplicationMaster将向YARNResourceManager请求资源。但是我还没有找到足够详细的文档来说明在SparkApplicationMaster(和Spark驱动程序)的YARN容器发生故障时的故障转移过程。我试图找到一些详细的资源，这些资源可以让我回答与以下场景相关的一些问题
是否可以在Spark运行时更改执行程序内存的值？我想这样做的原因是，对于某些maptask，我希望yarn调度程序将每个任务放在一个单独的节点上。通过将执行程序内存增加到接近节点的总内存，我确保它们分布在每个节点上。后来，我想在每个节点上运行多个任务，所以我会降低它们的执行程序内存。 最佳答案 不，你不能。每个执行程序都在自己的JVM上启动，您无法在运行时更改JVM内存。请参阅引用:SettingJVMheapsizeatruntime 关于java-我可以在运行时更改Spark的执行程
我在hdp中使用spark1.5.2，hadoop的版本是2.7.1.2.3.4.7-4。当我尝试像这样在mavenpom文件中添加jar时org.apache.sparkspark-core_2.101.5.2我不知道在哪里可以找到spark-core的版本。有2.11和2.10。任何帮助表示赞赏。 最佳答案 您提到的那个版本表示您希望将哪个版本的Scala用于spark-core。您需要检查集群上的Scala版本，以了解它是您需要的2.10还是2.11。 关于hadoop-我怎么知道
我正在寻找类似于Spark中Hadoop的分布式缓存的功能。我需要一个相对较小的数据文件(具有一些索引值)存在于所有节点中以便进行一些计算。有什么方法可以在Spark中实现这一点吗？到目前为止，我的解决方法包括将索引文件分发和缩减为正常处理，这在我的应用程序中大约需要10秒。之后，我将指示它的文件持久化为广播变量，如下所示:JavaRDDindexFile=ctx.textFile("s3n://mybucket/input/indexFile.txt",1);ArrayListlocalIndex=(ArrayList)indexFile.collect();finalBroadca
