草庐IT

#导入MD文档图片#学完大数据,来测测你大数据技术掌握程度?

Maynor学长 2023-03-28 原文

前言

大家好,我是ChinaManor,直译过来是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。

时隔一年,终于把主流的大数据组件全部学完了,学成之时,便是出师之日, 那为师便来考考你学的如何:

问题1：Rowkey如何设计，设计规则是什么？

  • 业务原则：贴合业务，保证前缀是最常用的查询字段
  • 唯一原则：每条rowkey唯一表示一条数据
  • 组合原则：常用的查询条件组合作为Rowkey
  • 散列原则：rowkey构建不能连续
  • 长度原则：满足业务需求越短越好
口诀：月尾煮散肠 又到了月尾业务达不到，唯一不挨饿的办法是煮超市散落的香肠吃。

问题2：请简述Hbase写入数据的流程

  • step1：获取元数据

    • 客户端请求Zookeeper，获取meta表所在的regionserver的地址
    • 读取meta表的数据：获取所有表的元数据
  • step2：找到对应的Region

    • 根据meta表中的元数据，找到表对应的所有的region
    • 根据region的范围和写入的Rowkey，判断需要写入具体哪一个Region
    • 根据region的Regionserver的地址，请求对应的RegionServer
  • step3：写入数据

    • 请求RegionServer写入对应Region：根据Region的名称来指定写入哪个Region

    • 根据列族判断写入哪一个具体的Store

      • 先写入WAL：Hlog预写日志中
    • 写入对应Store的MemStore中

问题3：协处理器是什么？Hbase中提供了几种协处理器？

  • 协处理器指的是Hbase提供了一些开发接口，可以自定义开发一些功能集成到Hbase中
  • 类似于Hive中的UDF
  • 协处理器分为两类
    • Observer：观察者类，类似于监听器的实现
    • Endpoint：终端者类，类似于存储过程的实现
以上面试题出自之前发布的Hbase专栏 Hbase专栏链接

问题4：为什么Kafka读写会很快？

  • 写很快
    • 应用了PageCache的页缓存机制
    • 顺序写磁盘的机制
  • 读很快
    • 优先基于PageCache内存的读取，使用零拷贝机制
    • 按照Offset有序读取每一条
    • 构建Segment文件段
    • 构建index索引

问题5：请简述Kafka生产数据时如何保证生产数据不丢失？

  • acks机制：当接收方收到数据以后，就会返回一个确认的ack消息
  • 生产者向Kafka生产数据，根据配置要求Kafka返回ACK
    • ack=0：生产者不管Kafka有没有收到，直接发送下一条
      • 优点：快
      • 缺点：容易导致数据丢失，概率比较高
    • ack=1：生产者将数据发送给Kafka，Kafka等待这个分区leader副本写入成功，返回ack确认，生产者发送下一条
      • 优点：性能和安全上做了平衡
      • 缺点：依旧存在数据丢失的概率，但是概率比较小
    • ack=all/-1：生产者将数据发送给Kafka，Kafka等待这个分区所有副本全部写入，返回ack确认，生产者发送下一条
      • 优点：数据安全
      • 缺点：慢
      • 如果使用ack=all，可以搭配min.insync.replicas参数一起使用，可以提高效率
        • min.insync.replicas：表示最少同步几个副本以后，就返回ack
  • 如果生产者没有收到ack，就使用重试机制，重新发送上一条消息，直到收到ack

问题6：Kafka中生产者的数据分区规则是什么，如何自定义分区规则？

  • 如果指定了分区：就写入指定的分区
  • 如果没有指定分区，就判断是否指定了Key
    • 如果指定了Key：根据Key的Hash取余分区
    • 如果没有指定Key：根据黏性分区来实现
  • 自定义分区
    • 开发一个类实现Partitioner接口
    • 实现partition方法
    • 在生产者中指定分区器的配置
以上面试题出自之前发布的Kafka专栏 Kafka专栏链接

问题7：简述Spark on yarn的作业提交流程（YARN Cluster模式）

1、任务提交后会和ResourceManager通讯申请启动ApplicationMaster 2、随后ResourceManager分配container，在合适的NodeManager上启动ApplicationMaster，此时的ApplicationMaster就是Driver。 3、Driver启动后向ResourceManager申请Executor内存 4、ResourceManager接到ApplicationMaster的资源申请后会分配container，然后在合适的NodeManager上启动Executor进程 5、Executor进程启动后会向Driver反向注册 6、Executor全部注册完成后Driver开始执行main函数，之后执行到Action算子时，触发一个job，并根据宽依赖开始划分stage，每个stage生成对应的taskSet，之后将task分发到各个Executor上执行。

问题8：简述Spark on yarn的作业提交流程（YARN Client模式）

1、Driver在任务提交的本地机器上运行，Driver启动后会和ResourceManager通讯申请启动ApplicationMaster 2、随后ResourceManager分配container，在合适的NodeManager上启动ApplicationMaster 3、此时的ApplicationMaster的功能相当于一个ExecutorLaucher，只负责向ResourceManager申请Executor内存 4、ResourceManager接到ApplicationMaster的资源申请后会分配container，ApplicationMaster在资源分配指定的NodeManager上启动Executor进程 5、Executor进程启动后会向Driver反向注册 6、Executor全部注册完成后Driver开始执行main函数，之后执行到Action算子时，触发一个job，并根据宽依赖开始划分stage，每个stage生成对应的taskSet，之后将task分发到各个Executor上执行。

问题9：Repartition和Coalesce关系与区别

1）关系：

两者都是用来改变RDD的partition数量的，repartition底层调用的就是coalesce方法

2）区别：

repartition一定会发生shuffle，coalesce根据传入的参数来判断是否发生shuffle

一般情况下增大rdd的partition数量使用repartition，减少partition数量时使用coalesce

问题10：cache和pesist的区别？

cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省 程序运行时间

1） cache只有一个默认的缓存级别MEMORY_ONLY ，cache调用了persist，而persist可以根据情况设置其它的缓存级别；

2） executor执行的时候，默认60%做cache，40%做task操作，persist是最根本的函数，最底层的函数。

以上面试题出自之前发布的Spark专栏 Spark专栏链接

问题11：flink中的水印机制？

1、首先什么是Watermaker？ Watermaker就是给数据再额外的加的一个时间列，也就是Watermaker是个时间戳! 2、其次如何计算Watermaker？ Watermaker = 当前窗口的最大的事件时间 - 最大允许的延迟时间或乱序时间 3、窗口计算的触发条件为:

  • 1.窗口中有数据
  • 2.Watermaker >= 窗口的结束时间

问题12：Flink的四大基石都有什么？

Checkpoint、State、Time、Window

问题13：Flink的重启策略有哪些？

固定延迟重启策略

失败率重启策略

回调重启策略

无重启策略

古诗会晤

固定的古诗会晤即将在沭阳举行

问题14：请描述一下flink的双流join

Flink Join大体分类只有两种：Window Join和Interval Join。

  • Window Join又可以根据Window的类型细分出3种：
Tumbling Window Join、 Sliding Window Join、 Session Widnow Join

Windows类型的join都是利用window的机制，先将数据缓存在Window State中，当窗口触发计算时，执行join操作。

  • interval join也是利用state存储数据再处理，区别在于state中的数据有失效机制。

问题15：flink on yarn执行任务的两种方式

第一种yarn seesion(Start a long-running Flink cluster on YARN) 这种方式需要先启动集群，然后在提交作业，接着会向yarn申请一块空间后，资源保持不变。 如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，那下一个作业才会正常提交.

比较适合特定的运行环境或者测试环境。

第二种Flink run直接在YARN上提交运行Flink作业(Run a Flink job on YARN)， 一个任务会对应一个job,即每提交一个作业会根据自身的情况，向yarn申请资源，直到作业执行完成， 并不会影响下一个作业的正常运行，除非是yarn上面没有任何资源的情况下。 一般生产环境是采用此种方式运行

以上面试题出自之前发布的Flink专栏 Flink专栏链接

问答库已制作完成

问答库

总结

以上便是大数据综合复习之面试题15问,你都掌握了吗?

愿你读过之后有自己的收获,如果有收获不妨一键三连，我们下期再见

大数大数据liul的大数据面试题Hadoop

有关#导入MD文档图片#学完大数据,来测测你大数据技术掌握程度?的更多相关文章

  1. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  2. ruby - Ruby 有 `Pair` 数据类型吗？ - 2

    有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳

  3. ruby-on-rails - Ruby on Rails - 为文本区域和图片生成列 - 2

    我是Rails的新手，所以请原谅简单的问题。我正在为一家公司创建一个网站。那家公司想在网站上展示它的客户。我想让客户自己管理这个。我正在为“客户”生成一个表格，我想要的三列是:公司名称、公司描述和Logo。对于名称，我使用的是name:string但不确定如何在脚本/生成脚手架终端命令中最好地创建描述列(因为我打算将其设置为文本区域)和图片。我怀疑描述(我想成为一个文本区域)应该仍然是描述:字符串，然后以实际形式进行调整。不确定如何处理图片字段。那么……说来话长:我在脚手架命令中输入什么来生成描述和图片列？ 最佳答案 对于“文本”数

  4. ruby - 检查是否通过 require 执行或导入了 Ruby 程序 - 2

    如何检查Ruby文件是否是通过“require”或“load”导入的，而不是简单地从命令行执行的？例如:foo.rb的内容:puts"Hello"bar.rb的内容require'foo'输出:$./foo.rbHello$./bar.rbHello基本上，我想调用bar.rb以不执行puts调用。 最佳答案 将foo.rb改为:if__FILE__==$0puts"Hello"end检查__FILE__-当前ruby​​文件的名称-与$0-正在运行的脚本的名称。 关于ruby-检查是否

  5. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  6. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

  7. Matlab imread（）读到了什么 （浅显 当复习文档了） - 2

    matlab打开matlab，用最简单的imread方法读取一个图像clcclearimg_h=imread('hua.jpg');返回一个数组（矩阵），往往是a*b*cunit8类型解释一下这个三维数组的意思，行数、数和层数，unit8：指数据类型，无符号八位整形，可理解为0~2^8的数三个层数分别代表RGB三个通道图像rgb最常用的是24-位实现方法，即RGB每个通道有256色阶（2^8）。基于这样的24-位RGB模型的色彩空间可以表现256×256×256≈1670万色当imshow传入了一个二维数组，它将以灰度方式绘制；可以把图像拆分为rgb三层，可以以灰度的方式观察它figure(1

  8. Unity 热更新技术 | （三） Lua语言基本介绍及下载安装 - 2

    ?博客主页：https://xiaoy.blog.csdn.net?本文由呆呆敲代码的小Y原创，首发于CSDN??学习专栏推荐：Unity系统学习专栏?游戏制作专栏推荐：游戏制作?Unity实战100例专栏推荐：Unity实战100例教程?欢迎点赞?收藏⭐留言?如有错误敬请指正！?未来很长，值得我们全力奔赴更美好的生活✨------------------❤️分割线❤️-------------------------

  9. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流，在人体运动的基础上，添加双手手指部分的运动。双手手背的角度仍由Optitrack提供，数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照：https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming，开始向Unity3D广播数据；MotionVenus中设置->选项选择Unit

  10. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

随机推荐