大数据刚出来的时候，并不是很完善。发展的不是很快，尤其是在计算服务上，当时使用的是第一代mr计算引擎，相对来说计算并不是那么快。让大数据快速发展的是2009年伯克利大学诞生的spark，并在2013年成为Aparch的顶级开源项目。使大数据发展比较迅速、但是随着spark的快速发展，对于不太会用spark的或者一直用hiveSql的程序员，但是又想使用spark。提出hive添加spark作为第三个后端    在这个概念上就衍生了两种模式，一种是hiveonspark，另外一种是sparkonhive。我们来谈谈这两种模式是怎样实现的。hiveonsparkhiveonspark在执行

今天来讲讲spark-sql的执行计划，有助于我们理解spark的运行原理。一、简述   日常我们使用spark时，主要是通过写sql语句嵌套在Python或者Shell脚本中提交到spark集群，了解spark-sql的运行方式有助于我们更好的使用spark。二、Spark-sql的运行流程   用户提交的Application程序，先经过SQLParser解析SQL语句，然后由Catalyst优化器处理，最后转化成Spark的RDD提交到SparkCluster进行执行。如下图。具体流程如下：1、用户提交的Application首先会通过一些API读取SQL语句；2、将读取的SQL代码经A

SparkSQLexplain方法有simple、extended、codegen、cost、formatted参数，具体如下目录一、基本语法二、执行计划处理流程三、具体案例一、基本语法从3.0开始，explain方法有一个新的mode参数，指定执行计划展示格式只展示物理执行计划，默认mode是simplespark.sql(sqlstr).explain()展示物理执行计划和逻辑执行计划spark.sql(sqlstr).explain(mode=“extended”)展示要Codegen生成的可执行Java代码spark.sql(sqlstr).explain(mode=“codegen”

01  导语爱奇艺自2012年开展大数据业务以来，基于大数据开源生态服务建设了一系列平台，涵盖了数据采集、数据处理、数据分析、数据应用等整个大数据流程，为公司的运营决策和各种数据智能业务提供了强有力的支持。随着数据规模的不断增长和计算复杂度的增加，如何快速挖掘数据的潜在价值，给大数据平台带来了巨大挑战。针对海量数据的实时分析需求，大数据团队从2020年开始发起大数据加速项目，基于大数据技术加速爱奇艺数据流通，促进更实时的运营决策、更高效的信息分发。其中之一就是推动OLAP数据分析从Hive引擎切换到SparkSQL引擎，取得了明显收益，任务提速67%、资源节省50%，为BI、广告、会员、用户增

第一部分：Spark基础篇_奔跑者-辉的博客-CSDN博客第一部分：Spark基础篇_奔跑者-辉的博客-CSDN博客第三部分：Spark调优篇_奔跑者-辉的博客-CSDN博客目录1常规性能调优常规性能调优一: 最优资源配置常规性能调优二: RDD调优常规性能调优三：并行度调节常规性能调优四: 广播变量常规性能调优五：Kryo序列化2算子调优算子调优一：调节mapPartitions算子调优二：foreachPartition优化数据库操作算子调优三：filter与coalesce的配合使用算子调优四：repartition解决SparkSQL低并行度问题算子调优五：reduceByKey本地聚

目录前言/简介实践应用1、concat()函数2、concat_ws()函数前言/简介        在使用Spark-hive技术处理逻辑时，经常会使用concat()、和concat_ws()字符串连接函数。这两个函数在spark的用户自定义函数和hive的用户自定义函数中都存在，Spark也是支持hive用户自定义函数的。两者主要使用区别如下：concat()：只要其中一个字符串为null，结果将返回null;concat_ws()：第一个参数为字符串分隔符设置，只要有一个字符串不为null，返回结果就不会为null;实践应用1、concat()函数selectconcat("我是","

一、SparkSQL概述1.1  SparkSQL是什么    SparkSQL是Spark用于结构化数据处理的Spark模块。1.2 HiveandSparkSQL        我们之前学习过hive，hive是一个基于hadoop的SQL引擎工具，目的是为了简化mapreduce的开发。由于mapreduce开发效率不高，且学习较为困难，为了提高mapreduce的开发效率，出现了hive，用SQL的方式来简化mapreduce：hive提供了一个框架，将SQL转换成mapreduce来执行。执行的效率不会因此提升，但开发效率会大大提高。    同样的，sparkCore的代码能不能转换

Spark支持以下三种部署模式Client模式：在Client模式下，驱动程序运行在提交应用程序的客户端上。应用程序使用集群中的资源来执行任务。这种模式适用于开发和调试应用程序，因为它允许开发人员与驱动程序交互并查看应用程序的输出。Cluster模式：在Cluster模式下，驱动程序运行在集群上的某个节点上。应用程序使用集群中的资源来执行任务。这种模式适用于生产环境，因为它可以更好地利用集群中的资源。Local模式：在Local模式下，应用程序运行在单个计算机上。这种模式适用于开发和测试应用程序，因为它可以在没有集群的情况下运行应用程序。使用deploy-mode选项可以指定要使用的部署模式。

SparkCoreRDD基础定义​ 在Spark的编程接口中，每一个数据集都被表示为一个对象，称为RDD。RDD是ResillientDistributedDataset(弹性分布式数据集)的简称，是一个只读的(不可变的)、分区的(分布式的)、容错的、延迟计算的、类型推断的和可缓存的记录集合。结构​ RDD由以下五部分组成：一组partition（分区），即组成整个数据集的块；每个partition（分区）的计算函数（用于计算数据集中所有行的函数）；所依赖的RDD列表（即父RDD列表）；（可选的）对于key-value类型的RDD，则包含一个Partitioner（默认是HashPartiti

文章目录1、Hadoop2、HDFS3、HIVE4、HBase5、Spark1、HadoopHadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。它提供了一个可扩展的分布式文件系统（HDFS）和一个分布式计算框架（MapReduce），可以在大量廉价硬件上进行并行计算。2、HDFSHDFS（HadoopDistributedFileSystem）是Hadoop的分布式文件系统。它被设计用于在集群中存储和管理大规模数据集。HDFS将数据分割成块，并将这些块复制到不同的计算节点上，以提供容错性和高可用性。据我了解，大部分公司一般将模型需要的数据例如csv/libsvm格式的文件都会保