我正在运行一个有80台机器的spark集群。每台机器都是一个8核，50GB内存的虚拟机(41似乎是Spark可用的)。我在几个输入文件夹上运行，我估计输入的大小约为250GBgz压缩。我在驱动程序日志中收到错误信息，我不知道该怎么做。示例(按照它们在日志中出现的顺序):240884[Resultresolverthread-0]WARNorg.apache.spark.scheduler.TaskSetManager-Losttask445.0instage1.0(TID445,hadoop-w-59.c.taboola-qa-01.internal):java.net.SocketT
我使用了sparkSQLconnecthive，基本查询可以，但是无法创建索引，请问sparkSQL支持索引吗？DROPTABLEtest_tabe;CREATETABLEtest_tabe(....,areaSTRING...)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t'LINESTERMINATEDBY'\n'STOREDASRCFILE--STOREDASSEQUENCEFILE;CREATEINDEXidx_compact_indexONTABLEtest_tabe(area)AS'COMPACT'WITHDEFERREDREBUILD#!!
我需要一些有关Spark+Java编程的帮助。这是我的问题:我在hdfs中有一个大文件，名为A，另一个大文件名为B。基本上，我需要同时迭代第一个(A)和第二个(B)。我的意思是这样的(这是伪代码):a=read.A;//ReadrecordfromAb=read.B;//ReadrecordfromBwhile(a!=EOF){if(a>b){b=read.B;//WriteOutputinsomeway}else{a=read.A;//Writeoutputinsomeway}}是否可以使用Spark+Java做类似的事情？ 最佳答案
我有一个包含216列的表“Gazelle”，我想在javaPairRDD中获取它们的一些列。我试图点击此链接:Howtoreadfromhbaseusingspark还有这个:howtofetchallofdatafromhbasetableinspark为了导入我需要的所有jar，我已将此依赖项添加到我的pom文件中:'http://maven.apache.org/xsd/maven-4.0.0.xsd">4.0.0fr.aid.cimspark-poc1.0-SNAPSHOTorg.apache.sparkspark-core_2.101.1.0org.apache.hbaseh
我正在使用input=sc.wholeTextFiles(hdfs://path/*)在Spark中加载大约200k个文本文件然后我运行println(input.count)事实证明，我的sparkshell输出了大量文本(这是每个文件的路径)，过了一会儿它就挂起而没有返回我的结果。我相信这可能是由于wholeTextFiles输出的文本量所致。你知道有什么方法可以静默运行这个命令吗？还是有更好的解决方法？谢谢! 最佳答案 您的文件有多大？来自wholeTextFilesAPI:Smallfilesarepreferred,lar
我是spark的新手，将spark-1.2.0与hadoop2.4.1结合使用。我已经设置了主节点和四个从节点。但是我的两个节点没有启动。我在spark-1.2.0/conf/目录下的slaves文件中定义了节点的IP地址。但是当我尝试运行./sbin/start-all.sh时，错误如下:failedtolaunchorg.apache.spark.deploy.worker.Workercouldnotfindorloadmainclassorg.apache.spark.deploy.worker.Worker这发生在两个节点上。其他两个工作正常。我还在主服务器和从服务器中设置了
我有一个以这种方式创建的星图valgraph=Graph(vertices,edges,defaultArticle).cache我的顶点是RDD[(Long,(String,Option[String],List[String],Option[String])]我的边是RDD[Edge[长]]如何将此图形/边/顶点保存到Hive/文本文件/其他任何内容，以及如何读回它？我查看了SparkSQL文档和Spark核心文档，但我仍然没有成功。如果我执行saveAsTextFile()，那么当我读回它时，它是一个RDD[String]，这不是我需要的....编辑:Daniel提供了另存为对象
我的应用程序使用Spark进行一些数据处理并将其保存为RDD；我正在使用“本地”属性初始化SparkContext。我想在此数据集上使用Mahout，但在2个应用程序之间共享此数据的最佳方式是什么？我是大数据生态系统的新手，所以答案对我来说并不是很明显。附注我还在本指南的帮助下在本地安装了Hadoophttp://amodernstory.com/2014/09/23/installing-hadoop-on-mac-osx-yosemite/并能够运行它。 最佳答案 由于您的数据位于RDD中，因此只能从创建它的上下文中访问它，除非
我是Spark、Hadoop以及所有相关产品的新手。我的全局需求是构建一个实时应用程序来获取推文并将其存储在HDFS上，以便构建基于HBase的报告。我想在调用saveAsTextFileRRD方法时获取生成的文件名，以便将其导入Hive。请随时询问更多信息，在此先致谢。 最佳答案 saveAsTextFile将创建一个序列文件目录。所以如果你给它路径“hdfs://user/NAME/saveLocation”，一个名为saveLocation的文件夹将被创建，里面装满了序列文件。您应该能够通过将目录名称传递给HBase将其加载到
我正在尝试部署一个集群并在其上运行一些示例Spark/scala代码，虽然当我在独立模式下使用默认参数使用zeppelin时一切正常，但我无法让它在集群模式下工作。我尝试在spark中使用spark-class和start-master标准shell文件手动创建spark集群，然后通过spark://..Zeppelin的URL，但是在运行代码后，我不断收到不同的异常错误(例如缺少javasys.process._库)，一段时间后，sparkworker的状态在SparkMasterUI中变为DEAD我还尝试将yarn-client而不是spark-URL放入zeppelinspark
