嗨喽，最近小伙伴们快要期末考试了吧，下面是我对《Spark零基础实战》的总结，希望能帮助到你们。一、Spark简介Spark，拥有hadoopMR所具有的优点，但不同于MR的是job中监测结果可以保存在内存中，从而不再需要读写HDFS，因此spark能够更好的适用于数据挖掘与机器学习等需要迭代的mr的算法。1.Spark，使用scala语言实现，这是一种面向对象函数式编程语言，能够像操作本地集合对象一样轻松的操作分布式数据集Spark，适用于多种分布式平台，如批处理,迭代算法，交互式查询流处理等Spark，提供了丰富的接口，除了基于scalapythonJava和SQL等API外还内建了丰富的
目录：1.使用分布式爬取XX电影信息（1）settings.py文件中的配置：（2）spider文件的更改：（3）items.py文件（两个项目一致！）：（4）pipelines.py文件：分布式实现效果：①直接运行项目，发现在等待：②再开一个终端，做如下操作：总结：效果：2.解决一些小问题：2.1解决爬空问题：（在两个项目中都进行以下操作！）①使用拓展程序（这个文件就是为了解决爬空而生的）：②在settings.py文件中设置这个拓展程序：3.关于分布式（Scrapy\_redis）的总结：1.使用分布式爬取XX电影信息（此处做了限制，只爬取四页电影数据共计100条，可去除限制爬取全部10页
目录1.广播变量（broadcastvariables）2.累加器（accumulators） 在分布式计算中，当在集群的多个节点上并行运行函数时，默认情况下，每个任务都会获得函数中使用到的变量的一个副本。如果变量很大，这会导致网络传输占用大量带宽，并且在每个节点上都占用大量内存空间。为了解决这个问题，Spark引入了共享变量的概念。 共享变量允许在多个任务之间共享数据，而不是为每个任务分别复制一份变量。这样可以显著降低网络传输的开销和内存占用。Spark提供了两种类型的共享变量：广播变量（broadcastvariables）和累加器（accumulators）。1.广播变
前言Spark通过JDBC读取数据之前很早写过一篇博客，本以为所有通过jdbc读取的方式都一样，谁知道这次读sqlserver的时候竟然出现的很多异常，这里把异常的问题进行记录。测试代码importorg.apache.spark.sql.Dataset;importorg.apache.spark.sql.Row;importorg.apache.spark.sql.SparkSession;publicclassTest{publicstaticvoidmain(String[]args){SparkSessionspark=SparkSession.builder().appName("
缓存更新是redis为了节约内存而设计出来的一个东西，主要是因为内存数据宝贵，当我们向redis插入太多数据，此时就可能会导致缓存中的数据过多，所以redis会对部分数据进行更新，或者把他叫为淘汰更合适。1.缓存更新三种策略:内存淘汰：redis自动进行，当redis内存达到咱们设定的max-memery的时候，会自动触发淘汰机制，淘汰掉一些不重要的数据(可以自己设置策略方式)超时剔除：当我们给redis设置了过期时间ttl之后，redis会将超时的数据进行删除，方便咱们继续使用缓存。主动更新：我们可以手动调用方法把缓存删掉，通常用于解决缓存和数据库不一致问题。2.主动更新策略由于我们的缓存的
Redis（RemoteDictionaryServer，远程字典服务器）是一个开源的高性能键值对存储系统，通常被用作数据库、缓存或消息中间件。这是一个基于内存的数据结构存储系统，可以通过持久化机制存储在磁盘上。Redis支持多种数据结构，如字符串（strings）、集合（sets）、有序集合（sortedsets）、哈希表（hashes）、列表（lists）等。 特性性能高:因为数据存储在内存中，所以Redis可以提供极高的读写速度。支持多种数据结构:它不仅仅是一个“key-value”存储系统，Redis还支持更复杂的数据结构。原子操作:Redi
1.请解释Spark的工作原理。Spark是一种通用的大数据计算框架，其设计目标是提供快速、通用和易于使用的数据处理平台。在核心上，Spark是基于内存计算的，这使得它比基于磁盘计算的HadoopMapReduce更快。Spark的基本工作原理可以分为以下几个方面：分布式数据集：Spark将数据分成多个分区，每个分区都运行在一个Executor上，这样可以实现数据的并行处理。弹性：如果某个任务失败，Spark会尝试重新执行该任务，而不是从头开始。这种机制使得Spark具有很好的容错性。迭代式处理：与传统的批处理不同，Spark支持迭代式处理，这意味着它可以多次处理数据，直到满足用户的要求。容错
Redis-Day3实战篇-商户查询缓存什么是缓存添加Redis缓存业务流程项目实现练习-给店铺类型查询业务添加缓存缓存更新策略最佳实践方案案例-给查询商铺的缓存添加超时剔除和主动更新缓存穿透/雪崩/击穿缓存穿透概述项目实现-商铺查询缓存缓存雪崩缓存击穿概述互斥锁逻辑过期练习-缓存工具封装来源Gitee地址什么是缓存缓存(cache):数据交换的缓冲区,贮存数据的临时地方,一般读写性能较高作用:降低后端负载提高读写效率,降低响应时间成本:数据一致性成本代码维护成本运维成本添加Redis缓存业务流程项目实现publicResultqueryShopById(Longid){StringshopK
一、Redis发布订阅1.简介 Redis发布订阅(pub/sub)是一种消息通信模式：发送者(pub)发送消息，订阅者(sub)接收消息。2.使用订阅的语法格式：subscribe主题名字示例：127.0.0.1:6379>subscribechannel-1Readingmessages...(pressCtrl-Ctoquit)1)"subscribe"2)"channel-1"3)(integer)1发布命令的语法格式：publishchannel-1hello示例：127.0.0.1:6379>publishchannel-1hello(integer)1其中返回值1代
redis的高可用（主从复制、哨兵、群集）主从复制：主从复制是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力受到单机的限制。哨兵：在主从复制的基础上，哨兵实现了自动化的故障恢复。缺陷：写操作无法负载均衡；存储能力受到单机的限制。集群：通过集群，Redis解决了写操作无法负载均衡，以及存储能力受到单机限制的问题，实现了较为完善的高可用方案哨兵和集群有什么区别：哨兵写操作无法均衡，存储能力受限。集群这些问题都已经解决了主从复制是指将一台redis服
