草庐IT

学习记录12 Hadoop生态圈技术栈（十）

败者食尘_40a0 2023-09-30 原文

讲义在讲Redis之前，花了很大的篇幅去写缓存的知识，可见缓存与Redis的关系非同一般。那么Redis就是缓存吗？
我们这里也写学习一些缓存的知识。
缓存存在的意义是为了减轻服务器的压力，提高系统的响应。
以前缓存指的是CPU上的告诉储存器，现在泛指计算机上原始数据集的复制集，便于快速访问。
其实缓存是一门艺术，一门空间换时间的艺术
其实说到这，也不难看出缓存的优缺点的。
大概总结一下就是缓存可以提升用户体验，减轻服务器压力，提高性能。缺点就是额外的硬件付出，并且缓存时也会出现一些问题。

缓存的读写模式

缓存有三种读写模式，这里只讲最常用的一种。就是Cache Aside Pattern，中文名为旁路缓存，这是最经典的缓存+数据库读写模式。
具体就是在读的时候，先读缓存，缓存没有的话再去读数据库，然后顺便将数据库取出的数据放入缓存，同时返回响应。
缓存的野心很大，读数据你得先问问缓存，缓存没有，你去问数据库要，之后也得分给我！
那么问题来了，如果数据库更新了怎么办？更新缓存吗？其实不是，是直接删除缓存，这也是数据库唯一报仇的以此的，直接杀死缓存。
为什么是删除缓存而不是更新呢？其实也很简单，因为缓存的结构机理，更新数据需要先遍历一遍，这就意味着我删除后重新加入新数据也比直接更新要快。
另外顺序也有要求，得先更新数据库，再去杀死缓存。（不然数据库打不过）

Redis

缓存就了解这么多就可以了，接下来就是核心Redis了。
Redis是远程的字典服务器，是一个键值对内存数据库，储值类型有五种，比较少，但也是最常用的了。就是字符串、散列、列表、集合和有序集合。
说到底还是一个数据库呗？那他存在的意义在哪呢？
他可以给缓存使用，减轻数据库的压力，也可以直接给数据库使用，用来临时存储文件，在一些数据交互要求高的场景下经常能见到他的身影。
具体的使用再后面的操作环节在做解说。

MySQL每日一刷

这道题是计算视频的完播率，在抖音这类短视频平台应该是挺常见的。
可以看下下面的数据情况，给了两个表（大多情况下都是多个表需要自己组合），表1就是用户和视频的交互表，里面给了基本的id数据和视频的开始结束时间数据（需要以此来判断视频是否播放完了）。


image.png

表2就是短视频的信息表了，包含视频的id、作者等信息。


image.png

其实不难看出，计算出2021年，短视频的完播率情况并不难，首先写出出视频完播率公式:count（结束时间-开始时间>视频时长，1，null）/ count（开始时间）
不得不说，这可能是这道题唯一的一个小难点了。不过我的写法肯定是有问题的，比较时间差直接用两个时间相减着实是有些low。
观看时间= timestampdiff(second, start_time, end_time)记得改成这个不然真会被人笑掉大牙? 
select
  a.video_id,
  round(
    count(if(end_time - start_time >= duration,1,null)) / count(start_time),
    3
  ) as avg_comp_play_rate
from
  tb_user_video_log as a
  left join tb_video_info as b on a.video_id = b.video_id
where
  year(start_time) = 2021
group by
  video_id
order by
  avg_comp_play_rate desc
Hadoop学习sectionbr的

有关学习记录12 Hadoop生态圈技术栈（十）的更多相关文章

  1. ruby - Sinatra:运行 rspec 测试时记录噪音 - 2

    Sinatra新手；我正在运行一些rspec测试，但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音？我仔细检查了环境是否设置为:test，这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/

  2. ruby-on-rails - Rails 5 Active Record 记录无效错误 - 2

    我有两个Rails模型，即Invoice和Invoice_details。一个Invoice_details属于Invoice，一个Invoice有多个Invoice_details。我无法使用accepts_nested_attributes_forinInvoice通过Invoice模型保存Invoice_details。我收到以下错误:(0.2ms)BEGIN(0.2ms)ROLLBACKCompleted422UnprocessableEntityin25ms(ActiveRecord:4.0ms)ActiveRecord::RecordInvalid(Validationfa

  3. Unity 热更新技术 | （三） Lua语言基本介绍及下载安装 - 2

    ?博客主页：https://xiaoy.blog.csdn.net?本文由呆呆敲代码的小Y原创，首发于CSDN??学习专栏推荐：Unity系统学习专栏?游戏制作专栏推荐：游戏制作?Unity实战100例专栏推荐：Unity实战100例教程?欢迎点赞?收藏⭐留言?如有错误敬请指正！?未来很长，值得我们全力奔赴更美好的生活✨------------------❤️分割线❤️-------------------------

  4. LC滤波器设计学习笔记（一）滤波电路入门 - 2

    目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》，侵权删。前言最近需要学习放大电路和滤波电路，但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放，所以也是相当从零开始学习了。滤波电路科普主要分类滤波器：主要是从不同频率的成分中提取出特定频率的信号。有源滤波器：由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波，最普通易于采用的无源滤波器结构是将电感与电容串联，可对主要次谐波（3、5、7）构成低阻抗旁路。无源滤波器：无源滤波器，又称

  5. CAN协议的学习与理解 - 2

    最近在学习CAN，记录一下，也供大家参考交流。推荐几个我觉得很好的CAN学习，本文也是在看了他们的好文之后做的笔记首先是瑞萨的CAN入门，真的通透；秀！靠这篇我竟然2天理解了CAN协议！实战STM32F4CAN！原文链接：https://blog.csdn.net/XiaoXiaoPengBo/article/details/116206252CAN详解（小白教程）原文链接：https://blog.csdn.net/xwwwj/article/details/105372234一篇易懂的CAN通讯协议指南1一篇易懂的CAN通讯协议指南1-知乎(zhihu.com)视频推荐CAN总线个人知识总

  6. MIMO-OFDM无线通信技术及MATLAB实现（1）无线信道：传播和衰落 - 2

     MIMO技术的优缺点优点通过下面三个增益来总体概括：阵列增益。阵列增益是指由于接收机通过对接收信号的相干合并而活得的平均SNR的提高。在发射机不知道信道信息的情况下，MIMO系统可以获得的阵列增益与接收天线数成正比复用增益。在采用空间复用方案的MIMO系统中，可以获得复用增益，即信道容量成倍增加。信道容量的增加与min(Nt,Nr)成正比分集增益。在采用空间分集方案的MIMO系统中，可以获得分集增益，即可靠性性能的改善。分集增益用独立衰落支路数来描述，即分集指数。在使用了空时编码的MIMO系统中，由于接收天线或发射天线之间的间距较远，可认为它们各自的大尺度衰落是相互独立的，因此分布式MIMO

  7. 深度学习部署：Windows安装pycocotools报错解决方法 - 2

    深度学习部署：Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯：公主号AiCharm本系列是作者在跑一些深度学习实例时，遇到的各种各样的问题及解决办法，希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal

  8. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  9. ruby-on-rails - 事件记录 : Select max of limit - 2

    我正在尝试将以下SQL查询转换为ActiveRecord，它正在融化我的大脑。deletefromtablewhereid有什么想法吗？我想做的是限制表中的行数。所以，我想删除少于最近10个条目的所有内容。编辑:通过结合以下几个答案找到了解决方案。Temperature.where('id这给我留下了最新的10个条目。 最佳答案 从您的SQL来看，您似乎想要从表中删除前10条记录。我相信到目前为止的大多数答案都会如此。这里有两个额外的选择:基于MurifoX的版本:Table.where(:id=>Table.order(:id).

  10. Ruby 守护进程导致 ActiveRecord 记录器 IOError - 2

    我目前正在用Ruby编写一个项目，它使用ActiveRecordgem进行数据库交互，我正在尝试使用ActiveRecord::Base.logger记录所有数据库事件具有以下代码的属性ActiveRecord::Base.logger=Logger.new(File.open('logs/database.log','a'))这适用于迁移等(出于某种原因似乎需要启用日志记录，因为它在禁用时会出现NilClass错误)但是当我尝试运行包含调用ActiveRecord对象的线程守护程序的项目时脚本失败并出现以下错误/System/Library/Frameworks/Ruby.frame

随机推荐