我曾经是一名sql和c#开发人员，并且刚刚进入spark和hadoop世界。这是我日常工作的场景:我们有一些包含股票和基金价格数据的巨型表格。要获得有关股票或基金的表现或统计数据，我们必须检索每种工具的历史数据并进行数学计算。我们在c#中以多线程方式进行计算(即在我们的c#代码中，我们创建多个线程来从数据库加载数据并进行计算)。由于我对spark和Hadoop的经验极其有限，如果我们从c#迁移到spark，我的感受是:我需要将所有计算转换为python。我需要将SQL数据加载到HadoopSpark将负责运行我的函数，我不再需要编写多线程代码。Spark在内存中加载数据并进行并行计算，
我在HDP2.5.3和oozie4.2.0上运行。spark操作设置为以yarn-client模式运行。SparkJob用于从hive表中获取数据，对其进行处理并将其存储在HDFS中。但是当我尝试从SparkAction提交Spark应用程序时，我得到了NullPointerException。workflow.xml${job_tracker}${name_node}hive2.jdbc.url${hive_beeline_server}hive2.server.principal${hive_kerberos_principal}${job_tracker}${name_node}
我有一个Java应用程序，它连续运行并检查数据库中的表以获取新记录。当在表中添加新记录时，Java应用程序解压缩文件并将其放入HDFS位置，然后触发Spark作业(我在Java应用程序中使用“SparkLauncher”类以编程方式触发Spark作业)，它对HDFS位置中新添加的文件进行处理。我已经使用OozieJavaAction在集群中安排了Java应用程序。该集群是HDPkerberized集群。作业在24小时内完美运行。所有的解压缩都发生了，spark作业正在运行。但24小时后解压缩发生在Java应用程序中，但资源管理器中未触发Spark作业。异常:连接到服务器时遇到异常:信息
谁能帮我理解SPARK如何读取hdfs数据并在主内存中管理它？换句话说，如果我创建3个RDD，第一个来自hadoop文件的RDD对其进行一些转换，然后创建第二个RDD，再次对第二个RDD进行一些转换并创建第三个RDD，然后对第三个RDD调用一些操作。将从hdfs中读取多少次数据？如果我们不显式调用缓存或持久化，所有三个RDD数据是否会保留在内存中？即当一个Action在第3个RDD上执行时，第一个RDD数据是否保留在内存中 最佳答案 如果所有RDD共享一个文件，则数据只会在操作时读取一次，而不会在任何转换时读取。重新生成第三个RDD
我是spark的新手。我正在尝试开发一个使用Spark1.6将json数据保存到Hive表的应用程序。这是我的代码:valrdd=sc.parallelize(Seq(arr.toString))//arristheJsonarrayvaldataframe=hiveContext.read.json(rdd)dataframe.registerTempTable("RiskRecon_tmp")hiveContext.sql("DROPTABLEIFEXISTSRiskRecon_TOES")hiveContext.sql("CREATETABLERiskRecon_TOESasse
我对在Spark-1.5.2中配置执行程序和驱动程序内存感到困惑。我的环境设置如下:3NodeMAPRCluster-EachNode:Memory256G,16CPUHadoop2.7.0Spark1.5.2-Spark-on-Yarn输入数据信息:来自Hive的460GBParquet格式表我正在使用spark-sql通过spark-on-yarn查询hive上下文，但它比Hive慢很多，而且我不确定Spark的内存配置是否正确，这些是我的配置，exportSPARK_DAEMON_MEMORY=1gexportSPARK_WORKER_MEMORY=88gspark.execut
我正在为各种Spark流作业运行多个数据处理集群。所有集群都配置为单节点。最近(大约10天前)我开始在所有集群上遇到作业失败。每个作业运行大约。3天后失败并显示相同的消息:===========CloudDataprocAgentError===========com.google.cloud.hadoop.services.agent.AgentException:Nodewasrestartedwhileexecutingajob.Thiscouldbeuser-initiatedorcausedbyComputeEnginemaintenanceevent.(TASK_FAILE
我是spark的新手，上周问了一个类似的问题。它编译但不工作。所以我真的不知道该怎么办。这是我的问题:我的表A包含3列，如下所示-----------A1A1A3-----------abc还有另一个像这样的表B------------------------------------B1B2B3B4B5B6B7B8B9------------------------------------1a345b78c我的逻辑是:A1A2A3是我的键，它对应表B中的B2B6B9。我需要构建一个以A1A2A3为键并返回B8的查找函数。这是我上周尝试的://gettingthedataintodata
我陷入了一个非常奇怪的境地。例如，我有一个包含这三个JSON的文件。{"uploadTimeStamp":"1500618037189","ID":"123ID","data":[{"Data":{"unit":"rpm","value":"0"},"EventID":"E1","Timestamp":1500618037189,"pii":{}},{"Data":{"heading":"N","loc1":"false","loc2":"13.022425","loc3":"77.760587","loc4":"false","speed":"10"},"EventID":"E2",
我正在将一个Parquet文件从DataFrame写入Hive。当我使用snappy作为parquet压缩算法时，我可以看到所有任务，但1个任务在写作阶段迅速完成(例如30/31)。由于大量的gc进程，最后一项任务需要很长时间才能完成。当我使用gzip作为parquet压缩算法时，一切都会正常。我想知道两种压缩算法有什么不同。 最佳答案 gzip自然受到Hadoop的支持。gzip基于DEFLATE算法，它结合了LZ77和霍夫曼编码。GZIP压缩比Snappy使用更多CPU资源，但提供更高的压缩率。GZip通常是冷数据的好选择，不经
