AMPLab的实验性项目，后经过开源，在2014年成为Apache基金会顶级项目之一，现已更新至3.2.0版本。
Spark Core、Spark SQL、Spark Streaming、Spark MLlib及 Spark Graphx。其中Spark Core为核心组件，提供RDD计算模型。在其基础上的众组件分别提供查询分析、实时计算、机器学、图计算等功能。
Tips: 可结合4、5点运行模式原理展开细说
Driver进程并初始化SparkContextSparkContext向Cluster Manager申请资源Cluster Manager选择合适的worker节点创建executor进程Executor向Driver端注册，并等待其分配task任务stage并分配taskset至ExecutorTask线程执行具体任务
Local、Standalone、Yarn及Mesos几种。其中Local模式仅用于本地开发，Mesos模式国内几乎不用。在公司中因为大数据服务基本搭载Yarn集群调度，因此Spark On Yarn模式会用的比较多。
Standalone模式是Spark内置的运行模式，常用于小型测试集群。这里我就拿Standalone模式来举例:
最普遍的一道面试题，主要是考察对Spark On Yarn 原理掌握的扎实程度。Yarn Cluster模式的driver进程托管给Yarn(AppMaster)管理，通过yarn UI或者Yarn logs命令查看日志。Yarn Client模式的driver进程运行在本地客户端，因资源调度、任务分发会和Yarn集群产生大量网络通信，出现网络激增现象，适合本地调试，不建议生产上使用。两者具体执行流程整理如下:
只读的、可分区的分布式数据集，支持跨节点多台机器上进行并行计算。优先内存存储，当计算节点内存不够时，可以把数据刷到磁盘等外部存储，且支持手动设定存储级别。血脉机制保存RDD的依赖关系，同时支持Checkpoint容错机制，当RDD结构更新或数据丢失时可对RDD进行重建。parallelize()``、外部Text|JSON|JDBC等数据源读取、RDD的Transformation`转换等方式。以Scala代码为例：//从集合中创建
val inputRDD = sc.parallelize(List("hello", "world"))
// 从数据源创建
val inputRDD = sc.textFile('/filePath/test.txt')
// rdd转换
val filterRDD = inputRDD.filter(x != 'a')面试题，切记不要忽视细节！Spark中的RDD血脉机制，当RDD数据丢失时，可以根据记录的血脉依赖关系重新计算。而DAG调度中对计算过程划分stage，划分的依据也是RDD的依赖关系。
针对不同的函数转换，RDD之间的依赖关系分为宽依赖和窄依赖。宽依赖会产生shuffle行为，经历map输出、中间文件落地和reduce聚合等过程。首先，我们看一下Spark官网中对于宽依赖和窄依赖的定义:
Lazy特性，不触发任务的实际执行。常见的算子有map、filter、flatMap、groupByKey、join等。一般聚合类算子多数会导致shuffle。
Action操作是对RDD结果进行聚合或输出，此过程会触发Spark Job任务执行，从而执行之前所有的Transformation操作，结果可返回至Driver端。常见的算子有foreach、reduce、count、saveAsTextFile等。
action算子划分触发生成。stage隶属于单个job，根据shuffle算子(宽依赖)拆分。单个stage内部可根据数据分区数划分成多个task，由TaskScheduler分发到各个Executor上的task线程中执行。
针对一段应用代码(如上)，Driver会以Action算子为边界生成DAG调度图。DAGScheduler从DAG末端开始遍历划分Stage，封装成一系列的tasksets移交TaskScheduler，后者根据调度算法, 将taskset分发到相应worker上的Executor中执行。面向stage调度机制的高级调度器，为每个job计算stage的DAG(有向无环图)，划分stage并提交taskset给TaskScheduler。优先位置给TaskScheduler，等待后续TaskScheduler的最佳位置划分finalStage。
TasksetPool调度池机制存放task任务。TasksetPool分为FIFO(先进先出调度)和FAIR(公平调度)。
本地化级别，最终选择每个task的最优位置(结合DAGScheduler优化位置策略)
移动计算 or 移动数据？这是一个问题。在分布式计算的核心思想中，移动计算永远比移动数据要合算得多，如何合理利用本地化数据计算是值得思考的一个问题。TaskScheduler在进行task任务分配时，需要根据本地化级别计算最优位置，一般是遵循就近原则，选择最近位置和缓存。Spark中的本地化级别在TaskManager中定义，分为五个级别。
缓存优先；否则TaskScheduler进行本地级别选择等待发送task。TaskScheduler首先会根据最高本地化级别发送task，如果在尝试5次并等待3s内还是无法执行，则认为当前资源不足，即降低本地化级别，按照PROCESS->NODE->RACK等顺序。spark.locality.wait 全局等待时长spark.locality.wait.xx等待时长(进程、节点、机架)
更多调优细节，欢迎添加个人微信号: youlong525,更有免费Spark PDF赠送~~
下面将对Spark和Mapreduce中shuffle过程分开叙述，Mapreduce的shuffle大家都不陌生了，主要重点突出Spark的Shuffle机制做了哪些优化工作。落盘产生大量IO，同时产生大量小文件冗余。虽然缓存buffer区中启用了缓存机制，但是阈值较低且内存空间小。
SortShuffleManager，通过索引机制和合并临时文件的优化操作，大幅提高shuffle性能。
普通运行机制，另一种是合并的运行机制。合并机制主要是通过复用buffer来优化Shuffle过程中产生的小文件的数量，Hash shuffle本身不排序。开启合并机制后，同一个Executor共用一组core，文件个数为cores * reduces。
bypass运行机制。当shuffletask的数量小于等于spark.shuffle.sort.bypassMergeThreshold参数的值时(默认200)，会启用bypass机制。SortShuffleManager机制采用了一个特殊的内存数据结构(Map)，数据优先写入此结构中，当达到阈值时溢写到磁盘中并清空内存数据结构。在过程中对数据进行排序并合并，减少最终的临时文件数量。ByPass机制下在其基础上加了一个索引机制，将数据存放位置记录hash索引值，相同hash的数据合并到同一个文件中。
Spark在计算过程中的算子函数、变量都会由Driver分发到每台机器中，每个Task持有该变量的一个副本拷贝。可是这样会存在两个问题:
- 是否可以只在Executor中存放一次变量，所有Task共享?
- 分布式计算场景下怎么可以做到全局计数
大变量(List、Array)持久化，Executor根据broadcastid拉取本地缓存中的Broadcast对象，如果不存在，则尝试远程拉取Driver端持久化的那份Broadcast变量。
这样所有的Executor均存储了一份变量的备份，这个executor启动的task会共享这个变量，节省了通信的成本和服务器的资源。注意不能广播RDD，因为RDD不存储数据；同时广播变量只能在Driver端定义和修改，Executor端只能读取。val sc = new SparkContext(conf)
val list = List('hello world')
//定义broadcast变量
val broadcastVal = sc.broadcast(list)
val dataRDD = sc.textFile('./test.txt')
//broadcast变量读取
dataRDD.filter{x => broadcastVal.value
.contains(x)}.foreach{println}
val sc = new SparkContext(conf)
// 定义累加器
val accumulator = sc.accumulator(0)
// 累加器计算
sc.textFile('./test.txt').foreach{x =>
{accumulator.add(1)}}
// 累加器读数
println(accumulator.value)Mapreduce引擎执行。hql语法，支持基本sql语法、函数和udf
Spark SQL底层基于Spark引擎，使用Antlr解析语法，编译生成逻辑计划和物理计划，过程和Hive SQL执行过程类似，只不过Spark SQL产生的物理计划为Spark程序。SqlParser分析器。进行语法检查、词义分析，生成未绑定的Logical Plan逻辑计划(未绑定查询数据的元数据信息，比如查询什么文件，查询那些列等)Analyzer解析器。查询元数据信息并绑定，生成完整的逻辑计划。此时可以知道具体的数据位置和对象，Logical Plan 形如from table -> filter column -> select 形式的树结构Optimizer优化器。选择最好的一个Logical Plan，并优化其中的不合理的地方。常见的例如谓词下推、剪枝、合并等优化操作Planner使用Planing Strategies将逻辑计划转化为物理计划，并根据最佳策略选择出的物理计划作为最终的执行计划Execution执行引擎执行Spark RDD任务
2. DataFrame和DataSet的区别DataFrame是分布式Row对象的集合，所有record类型均为Row。Dataset可以认为是DataFrame的特例，每个record存储的是强类型值而不是Row，同理Dataframe可以看作Dataset[Row]。3. RDD、DataFrame和Dataset转换**val rdd1 = myDF.rddimport spark.implicits._
val myDF = rdd.map {
line=> (line._1,line._2)}
.toDF("col1","col2")
```****
- RDD转换为Dataset
```scala
import spark.implicits._
case class ColSet(
col1:String,col2:Int) extends Serializable
val myDS = rdd.map {row=>
ColSet(row._1,row._2)
}.toDS
根据Key进行分组聚合，解决<K, V>类型的数据计算问题
在Spark中存在很多聚合算子，常用于处理分类统计等计算场景。
val input = sc.parallelize(
Array(1,1),(1,2),(2,3),(2,4),2)
val result = input.combineByKey(
# 初始化(k,v) 将v置换为c(1)
(v) => (v, 1)
#调用mergeKey结果 将v累加到聚合对象
(arr: (Int, Int), v)
=> (arr._1 +v, arr._2+1),
# 每个分区结果聚合
(arr1:(Int,Int),arr2:(Int,Int))
=>(arr1._1+arr2._1, arr1._2+arr2._2)
).map{
case(k,v)=>(k, v._1/v._2)
}本地预聚合，随后在分布式节点聚合，最终返回(K, V) 数据类型的计算结果。通过第一步本地聚合，大幅度减少跨节点shuffle计算的数据量，提高聚合计算的效率。
3. GroupByKey算子GroupByKey内部禁用CombineByKey算子，将分区内相同Key元素进行组合，不参与聚合计算。此过程会和ReduceByKey一致均会产生Shuffle过程，但是ReduceByKey存在本地预聚合，效率高于GroupByKey。
numPartitions(分区数)，这里表示需要合并的分区数量。再细看内部调用的是coalesce(shuffle=true)函数，即核心逻辑还是由coalesce()实现，且过程会产生shuffle操作。
再次定位到coalesce()方法内部，可以看到根据shuffle的条件判断，先通过生成随机数将partition重新组合，随后生成CoalesceRDD进行后续的逻辑处理。
2. 分区重分配原则宽依赖(shuffle过程)，需要把coalesce的shuffle参数设为true，执行HashPartition重新扩大分区，这时调用repartition()窄依赖，可以进行分区合并，这时调用coalesce()
val df: DataFrame = ...
val partionWindow =
Window.partitionBy('userid)
.orderBy('dt')
df.select('userid, 'dt,
row_number() over(
partitionWindow) as 'rn'
)
.select('userid, 'dt, expr(
"data_sub(dt,rn)") as 'date_diff')
.groupBy('userid, 'date_diff)
.agg(min('dt), max('dt),
count('userid) as 'counts'
)
.where("counts >=3").show()select
userid
,min(dt) as start_date
,max(dt) as end_date
,count(1) as times
from
(
select
userid
,dt
,date_sub(dt, rn) as date_diff
from
(
select
userid
,dt
,row_number() over(partition by
userid order by dt) as rn
from
user_tables
)
)
group by
userid, date_diff
having times >= 3Dstream数据流转换为微批RDD在Spark引擎中执行。Spark Streaming实时场景中最通用数据源是Kafka，一个高性能、分布式的实时消息队列。Spark Streaming最大化实时消费Kafka分区数据，提供秒级响应计算服务。
Spark Streaming保证精确一次消费，需要整个实时系统的各环节均保持强一致性。即可靠的Kafka端(数据可重复读取、不丢失)、可靠的消费端(Spark内部精确一次消费)、可靠的输出端(幂等性、事务)。具体细节查看我的另一篇文章: Flink和Spark如何保证一致性~万字详解实时计算一致性机制：对比Flink和Spark》》》更多好文，请大家关注我的公众号: 大数据兵工厂HashMap中为什么引入红黑树，而不是AVL树呢1.概述开始学习这个知识点之前我们需要知道，在JDK1.8以及之前，针对HashMap有什么不同。JDK1.7的时候，HashMap的底层实现是数组+链表JDK1.8的时候，HashMap的底层实现是数组+链表+红黑树我们要思考一个问题，为什么要从链表转为红黑树呢。首先先让我们了解下链表有什么不好？？？2.链表上述的截图其实就是链表的结构，我们来看下链表的增删改查的时间复杂度增：因为链表不是线性结构，所以每次添加的时候，只需要移动一个节点，所以可以理解为复杂度是N(1)删：算法时间复杂度跟增保持一致查：既然是非线性结构，所以查询某一个节点的时候
西安华为OD面试体验开始投简历技术面试进展工作进展开始投简历去年一整年一直在考研和工作之间纠结，感觉自己的状态好像当时的疫情一样差劲。之前刚毕业的时候投了个大厂的简历，结果一面写算法的时候太拉跨了，虽然知道时dfs但是代码熟练度不够，放在平时给足时间自己可以调试通过，但是熟练度不够那面试当时就写不出来被刷了。说真的算法学到后期我感觉最重要的是熟练度和背板子（对于我这种普通玩家来说），面试题如果一上来短时间内想不出思路就完蛋了。然后由于当时找的工作不是很理想就又想考研了。但是考研是有风险的，我自我感觉自己可能冲不上那个学校，而找工作一个没成可以继续找嘛。本着抱着试试看的态度在boss上投了简历，
点击->操作系统复习的文章集目录操作系统线程线程是什么进程与线程的关系用户态/内核态操作系统资源管理内核态用户态内核态/用户态切换程序运行类型分析计算密集型IO密集型结合进程，线程来理解程序运行类型分析协程基础上下文切换协程协程为什么叫协作式线程？协程的优缺点操作系统线程典型问题：简述进程和线程的区别以下内容带您一步步了解线程是什么比进程更小的独立运行的基本单位-线程(Threads)线程的提出主要是为了提高系统内程序并发执行的程度，从而进一步提升系统的吞吐量，充分发挥多核CPU的优越性而设计的引入进程是为了操作系统更加方便地管理程序，使得多个程序能并发管理和执行而线程则是为了减少程序在并发执
文章目录华为OD面试流程1.mysql数据库建了两个字段，且设置了联合索引，如果其中有一个字段为空会出现什么问题？2.谈谈springIOC的理解，有什么好处，解决了什么问题3.谈谈springAOP的理解，切面编程有没有实际应用，有哪些注解，作用是什么，有那些应用场景？4.Erika和zookeeper有了解过吗，作用是什么，主要解决了什么问题5.谈谈JDK、JRE、JVM的理解，区别是什么6.谈谈对泛型的理解7.JVM的组成华为OD面试流程机试：三道算法题，关于机试，橡皮擦已经准备好了各语言专栏，可以直接订阅。性格测试：机试技术一面（本专栏核心）技术二面（本专栏核心）主管面试定级定薪发of
2022年伊始，默安科技联合数世咨询举办以“软件供应链安全的时与势”为主题的访谈活动，由数世咨询创始人李少鹏主持，邀请贝壳安全研发负责人李文鹏、北京邮电大学副教授张文博、默安科技副总裁沈锡镛三位行业大咖做客网安小酒馆，从产业、企业、学术的不同维度，共同探讨软件供应链安全建设的新思路，为业界呈现了一场开年网安盛宴。随着全球软件供应链安全事件频发，软件供应链安全逐渐成为业界关注焦点，也成为影响国家重要信息系统安全与关键信息基础设施安全的重要因素，以及网络安全保障体系和能力建设的重要环节。嘉宾们围绕软件供应链安全发展的主要驱动力、关基行业中的实施现状和落地难点、产学研成果转化、软件供应链安全的重要性
一、获取当前时间1、current_date当前日期（年月日）Examples：SELECTcurrent_date;2、current_timestamp/now()当前日期（时间戳）Examples：SELECTcurrent_timestamp;二、从日期字段中提取时间1、year,month,day/dayofmonth,hour,minute,secondExamples：SELECTyear(now())；其他的日期函数以此类推month:1day:12（当月的第几天）dayofmonth：12hour,minute,second：分别对应时分秒2、dayofweek、dayofm
1，Camera基本工作原理答案：光线通过镜头Lens进入摄像头内部，然后经过IRFilter过滤红外光，最后到达sensor（传感器），senor分为按照材质可以分为CMOS和CCD两种，可以将光学信号转换为电信号，再通过内部的ADC电路转换为数字信号，然后传输给DSP（如果有的话，如果没有则以DVP的方式传送数据到基带芯片baseband，此时的数据格式RawData，后面有讲进行加工）加工处理，转换成RGB、YUV等格式输出。数据流是如何从sensor到APP的？上述描述结束后，在ISP处理后面的阶段，数据会进行分流，分为capture,preview，video等以供后续动作使用。例如
按照目前的情况，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visitthehelpcenter指导。关闭11年前。我是一名经验丰富的网络开发人员，但只有一点点Ruby/Rails经验。我周一刚在一家Ruby商店接受面试，他们确实意识到我没有太多Ruby经验。除了我手边的2或3本Ruby书籍外，我还可以利用哪些其他资源来参加周末的Ruby速成类。顺便说一下，我在hostingrails上确实有一个最低限度的帐户，尽管我从未使用过它。我没有看到任何其他与搜索“rubyi
2023届EDA领域校招总结，完结撒花！！！目录前言一、EDA公司介绍二、项目面试1.自我介绍2.项目深入3.专业经验4.成果和技能5.对面试官有什么问题三、C++面试1、高频考点2、其他知识点3、算法题四、逻辑综合面试1.逻辑综合知识详解2.开源逻辑综合ABC五、简历制作总结前言2022/08/26：本人2023年6月毕业，于2022年7-10月参加秋招，面试总结纯属个人经验，仅供参考面试的是EDA前端软件开发岗位，也会掺杂一些EDA其他流程的面试在面试过程中发现自己准备的很乱，没有一个清晰的思路，现在把自己面试的所有经历和题型整理出来，在这里做一个小的总结，不仅帮助自己整理思路，也给大家做
spark官方提供了两种方法实现从RDD转换到DataFrame。第一种方法是利用反射机制来推断包含特定类型对象的Schema，这种方式适用于对已知的数据结构的RDD转换； 第二种方法通过编程接口构造一个Schema，并将其应用在已知的RDD数据中。一、反射机制推断Schema实现反射机制Schema需要定义一个caseclass样例类，定义字段和属性，样例类的参数名称会被反射机制利用作为列名objectRddToDataFrameByReflect{//定义一个student样例类caseclassStudent(name:String,age:Int)defmain(args:Array[