草庐IT

面试Spark

全部标签

Java面试——锁

​公平锁:是指多个线程按照申请锁的顺序来获取锁,有点先来后到的意思。在并发环境中,每个线程在获取锁时会先查看此锁维护的队列,如果为空,或者当前线程是等待队列的第一个,就占有锁,否则就会加入到等待队列中,以后会按照FIFO的规则从队列中取到自己。非公平锁:指多个线程获取锁的顺序并不是按照申请锁的顺序,上来就尝试占有锁,如果尝试失败,就再采用类似公平锁的方式获取锁。有可能后申请的线程比先申请的线程优先获取锁,在高并发的情况下,有可能会造成优先级反转或者饥饿现象。ReentrantLock:并发包中ReentrantLock的创建可以指定构造函数的boolean类型来得到公平锁或非公平锁,默认是fa

14:00面试,14:06就出来了,问的问题有点变态。。。

从小厂出来,没想到在另一家公司又寄了。到这家公司开始上班,加班是每天必不可少的,看在钱给的比较多的份上,就不太计较了。没想到8月一纸通知,所有人不准加班,加班费不仅没有了,薪资还要降40%,这下搞的饭都吃不起了。还在有个朋友内推我去了一家互联网公司,兴冲冲见面试官,没想到一道题把我给问死了:如果模块请求http改为了https,测试方案应该如何制定,修改感觉好简单的题,硬是没有答出来,早知道好好看看一大佬软件测试面试宝典了。通过大数据总结发现,其实软件测试岗的面试都是差不多的。常问的有下面这几块知识点:全网首发-涵盖16个技术栈第一部分,测试理论(测试基础+需求分析+测试模型+测试计划+测试策

我说MySQL每张表最好不超过2000万条数据,面试官让我回去等通知?

事情是这样的下面是我朋友的面试记录:面试官:讲一下你实习做了什么。朋友:我在实习期间做了一个存储用户操作记录的功能,主要是从MQ获取上游服务发送过来的用户操作信息,然后把这些信息存到MySQL里面,提供给数仓的同事使用。由于数据量比较大,每天大概有四五千多万条,所以我还给它做了分表的操作。每天定时生成3张表,然后将数据取模分别存到这三张表里,防止表内数据过多导致查询速度降低。这表述,好像没什么问题是吧,别急,接着看:面试官:那你为什么要分三张表呢,两张表不行吗?四张表不行吗?朋友:因为MySQL每张表最好不超过2000万条数据,否则会导致查询速度降低,影响性能。我们每天的数据大概是在五千万条左

阿里巴巴面试热门话题揭秘:数据索引一网打尽!

大家好,我是你们的小米。今天我们来聊聊阿里巴巴面试题中的一个热门话题:数据索引!作为技术人员,我们都知道索引在数据库中的重要性,但是你是否真的了解各种索引的特点和使用场景呢?今天,就让我来带你一起探索一下吧!InnoDB和MyISAM引擎 在MySQL中,两个常见的引擎是InnoDB和MyISAM。它们在索引的实现上有所不同。首先,让我们来看看InnoDB引擎。InnoDB被认为是MySQL的默认引擎,它提供了许多先进的功能,例如支持事务处理和行级锁。这意味着它非常适合于处理具有高并发性和复杂查询的应用程序。另外,InnoDB还支持外键约束,这对于确保数据的完整性非常重要。但是,值得注意的是,

软件测试基础知识 + 面试理论(超详细)

文章目录一、什么是软件?二、什么是软件测试?三、软件测试工程师的工作内容四、常见的软件生命周期模型五、软件开发的几个阶段六、软件bug的五个要素七、软件测试的分类八、什么是测试用例九、测试用例几大要素【面试理论知识】1、你的测试职业发展是什么?2、你认为测试人员需要具备哪些素质3、你为什么能够做测试这一行4、测试的目的是什么?5、测试分为哪几个阶段?6、单元测试的测试对象、目的、测试依据、测试方法?7、怎样看待加班问题8、结合你以前的学习和工作经验,你认为如何做好测试。9、你为什么选择软件测试行业10、根据你以前的工作或学习经验描述一下软件开发、测试过程,由哪些角色负责,你做什么11、根据你的

14:00面试,14:06就出来了,问的问题有点变态。。。

从小厂出来,没想到在另一家公司又寄了。到这家公司开始上班,加班是每天必不可少的,看在钱给的比较多的份上,就不太计较了。没想到9月一纸通知,所有人不准加班,加班费不仅没有了,薪资还要降40%,这下搞的饭都吃不起了。还在有个朋友内推我去了一家互联网公司,兴冲冲见面试官,没想到一道题把我给问死了:如果模块请求http改为了https,测试方案应该如何制定,修改?感觉好简单的题,硬是没有答出来,早知道好好看看一大佬软件测试面试宝典了。通过大数据总结发现,其实软件测试岗的面试都是差不多的。常问的有下面这几块知识点:全网首发-涵盖16个技术栈第一部分,测试理论(测试基础+需求分析+测试模型+测试计划+测试

2023_Spark_实验三十三:配置Standalone模式Spark3.4.2集群

实验目的:掌握SparkStandalone部署模式实验方法:基于centos7部署Sparkstandalone模式集群实验步骤:一、下载spark软件下载的时候下载与自己idea里对应版本的sparkNews|ApacheSpark选择任意一个下载即可-spark3.4.1-spark3.4.2二、安装Standalone模式部署spark将下载好的spark软件上传到指定的linux集群中#解压到指定目录tar-zxvfspark-3.4.2-bin-hadoop3-scala2.13.tgz-C/opt/module/spark/#更改所有权chown-Rhadoop:hadoopsp

华为OD面试

目录一:笔试二:面试一:三:面试二:四:主管面五:薪资面一:笔试时间:2022-07-28笔试考试分数:200(目标院校:150以上可以,非目标院校:320)前两个简单题AC了,最后一个动态规划题,没有搞出来。总结不足多刷写动态规划题二:面试一:部门:华为自动驾驶部门时间:2022-08-09算法:力扣643.子数组最大平均数I双指针(完美写出来了)八股文:常见的python八股文总结不足写在简历中的,一定要必须会。三:面试二:部门:非自动驾驶部门交叉面试时间:2022-08-14算法:力扣209.长度最小的子数组暴力解决的(正确思想应该是滑动窗口)八股文:常见的python八股文总结不足多刷

Spark - 介绍及使用 Scala、Java、Python 三种语言演示

一、SparkApacheSpark是一个快速的,多用途的集群计算系统,相对于HadoopMapReduce将中间结果保存在磁盘中,Spark使用了内存保存中间结果,能在数据尚未写入硬盘时在内存中进行运算。Spark只是一个计算框架,不像Hadoop一样包含了分布式文件系统和完备的调度系统,如果要使用Spark,需要搭载其它的文件系统。Hadoop之父DougCutting指出:UseofMapReduceengineforBigDataprojectswilldecline,replacedbyApacheSpark(大数据项目的MapReduce引擎的使用将下降,由ApacheSpark取

Iceberg从入门到精通系列之二十四:Spark Structured Streaming

Iceberg从入门到精通系列之二十四:SparkStructuredStreaming一、StreamingReads二、StreamingWrites三、Partitionedtable四、流表的维护Iceberg使用ApacheSpark的DataSourceV2API来实现数据源和目录。SparkDSv2是一个不断发展的API,在Spark版本中提供不同级别的支持。一、StreamingReadsIceberg支持处理从历史时间戳开始的Spark结构化流作业中的增量数据:valdf=spark.readStream.format("iceberg").option("stream-fr