我正在运行CDH5.4.4(它捆绑了Spark1.3.0)并希望将Hive表读入Spark数据帧。查看文档，建议我们可以执行以下操作:frompyspark.sqlimportHiveContextsqlContext=HiveContext(sc)results=sqlContext.sql("SHOWTABLES").collect()...假设Spark是使用-Phive和-Phive-thriftserver标志集构建的。我不确定Cloudera的构建是否设置了这些标志。当我运行代码片段时，它返回以下错误:15/07/1016:54:10WARNHiveMetaStore:Re
在具有kerberos的Hadoop-2.7.1安全集群上配置了Spark-1.4.1和Hive-1.2.1。在未启用sasl的情况下启动外部元存储。我可以使用直线在Hiveserver2中执行基本操作。尝试启动SparkThrift服务器时，出现与委托(delegate)token相关的异常。命令spark-submit--classorg.apache.spark.deploy.history.HistoryServer--masteryarn-clientC:\Spark\lib\spark-core_2.10-1.4.0.jarSpark异常15/07/2816:07:31IN
我在YARN上运行Spark应用程序，当我使用以下方法终止作业时:yarnapplicationkill-applicationIdapplication_XYZ我无法从HadoopGUI(ResourceManager)转到被杀死的应用程序的SparkJobGUI。当我直接打开Spark历史服务器并尝试显示不完整的应用程序应用程序日志时，它起作用了。当作业完成(未终止)时，日志可以这样显示:HadoopGUI->Sparkhistoryserver。我正在使用YARN日志聚合服务来聚合日志。另外，我可以使用以下方法访问应用程序日志:yarnlogs-applicationIdappl
我正在尝试使用mongo-hadoop连接器使用spark从mongodb读取数据。我尝试了不同版本的hadoop-mongo连接器jar，但仍然出现此错误。编译时没有错误我该怎么做才能解决这个问题？提前致谢。Exceptioninthread"main"java.lang.NoClassDefFoundError:com/mongodb/hadoop/MongoInputFormatatcom.geekcap.javaworld.wordcount.Mongo.main(Mongo.java:47)Causedby:java.lang.ClassNotFoundException:c
我是新手。我在单个节点上安装spark-1.5.2-bin-without-hadoop.tgz。我已完成配置。当我要使用以下命令启动我的主节点时，它向我显示错误。请帮助我。Command:./sbin/start-master.shstartingorg.apache.spark.deploy.master.Master,loggingto/usr/local/spark/sbin/../logs/spark-jalaj-org.apache.spark.deploy.master.Master-1-CIPL367.outfailedtolaunchorg.apache.spark.
因此，我一直在尝试着手运行Spark-scala。我写了一个简单的测试程序，它只是稍微扩展了SparkPi示例:defmain(args:Array[String]):Unit={test()}defcalcPi(spark:SparkContext,args:Array[String],numSlices:Long):Array[Double]={valstart=System.nanoTime()valslices=if(args.length>0)args(0).toIntelse2valn=math.min(numSlices*slices,Int.MaxValue).toIn
我想知道如何序列化String(java.lang.String)和Text(org.apache.hadoop.io.Text)类型的对象>在Spark上进行比较。任何一种类型都应该用作RDD元素的键。所以我想知道比较这些类型的对象的方式是否存在差异。这可能与以下情况相关:RDD.saveAsObjectFile和SparkContext.objectFile支持将RDD保存为序列化对象并加载它。StorageLevel.MEMORY_AND_DISK_SER作为调用RDD.persist()时提供的存储级别。Hadoop提供了RawComparator作为Java的Compar
在使用HiveEMR一段时间后，我正在迈出进入Spark的第一步。我想读取以下列格式保存到S3的Hive表:s3:////date=/fileNames我可以使用答案inthisquestion但后来我失去了数据行与date之间的连接，那是因为我没有在文件中保存日期。有没有一种简单的方法可以得到每行数据的文件名？ 最佳答案 如果您只需要文件名中的日期，那么您不需要获取文件名，因为如果您正确创建表，spark和hive会自动为您完成。让我演示一下:#inhivehive>createtablet1(namestring)partiti
似乎当我在YARN中运行spark应用程序时，它在每台机器上只使用1个核心。如何让它使用机器上的所有内核？我的yarn-site.xml是:yarn.scheduler.maximum-allocation-mb57344yarn.scheduler.minimum-allocation-vcores5yarn.scheduler.maximum-allocation-vcores30我的spark-defaults.conf具有以下内容:spark.driver.memory=8gspark.driver.cores=3spark.executor.memory=48gspark.e
我创建并配置了小型hadoop集群(1主从)，并安装了spark。我使用了预构建的spark-1.6.0-bin-hadoop2.6和hadoop-2.7。当我运行示例时$./bin/spark-submit--classorg.apache.spark.examples.SparkPi\--masteryarn\--deploy-modecluster\--driver-memory4g\--executor-memory2g\--executor-cores1\--queuethequeue\lib/spark-examples*.jar\10来自hduser(拥有/usr/loc
