SpringBoot整合SpringSecurity一、搭建项目1、构建springboot项目2、导入依赖3、配置yml4、启动项目二、建立相关用户角色权限表1、创建数据库的字符集和排序规则2、用户表结构3、权限表结构4、用户与权限关联表结构5、插入测试数据三、创建实体类和Mapper1、SysUser2、SysPermission3、SysUserPermissionRelation4、配置@MapperScan四、Redis配置1、RedisConfig2、RedisUtil五、统一全局返回格式与处理系统异常1、统一全局返回格式ApiCodeApiResult2、全局系统异常处理1、自定
目录引言1.Zookeeper分布式锁1.1特点和优势：强一致性顺序节点Watch机制1.2Zookeeper分布式锁代码示例2.Redis分布式锁2.1特点和优势：简单高效可续租性灵活性2.2Redis分布式锁代码示例3.对比和选择3.1 一致性要求3.2 适用场景3.3性能和复杂度结论引言在分布式系统中，实现分布式锁是确保多个节点协同工作时数据一致性和互斥性的关键问题之一。分布式锁的目标是在分布式环境中对共享资源进行互斥访问，以确保数据的一致性。Zookeeper和Redis是两个常见的分布式锁实现方式，它们各自有着优势和适用场景。在本文中，我们将深入探讨如何实现分布式锁，并比较Zoo
文章目录前言(error)NOAUTHAuthenticationrequired.的原因redis设置密码后无法关闭怎么办'readonly'optionisset(add!tooverride)怎么办Foundaswapfilebythename".redis.conf.swp"怎么办前言今天使用Redis命令操作数据库时发现了几个问题，想着记录一下与大家分享(error)NOAUTHAuthenticationrequired.的原因“NOAUTHAuthenticationrequired”是Redis数据库的一个错误信息，通常是因为未经身份验证的客户端尝试执行需要授权的操作所导致的。
这是一篇新手笔记在提交spark任务的时候，若--class参数类名指定错误会让任务无法运行那么如果不会看文件路径的话，如何精准找出自己打包的类名呢？可以使用此条命令找到自己的类：jartf找到自己需要运行的任务，就可以直接使用spark-submit命令上传任务了spark-submit--masteryarn--driver-memory2G--driver-cores2--num-executors2--executor-memory3g--executor-cores4 --classspark.spark_hive1/opt/demo2.jar成功运行！
背景：SparkStreaming是准实时流处理框架，处理响应时间一般以分钟为单位，处理实时数据的延迟时间一般是秒级别的；其他容易混淆的例如Storm实时流处理框架，处理响应是毫秒级。在我们项目实施选择流框架时需要看具体业务场景：使用MapReduce和Spark进行大数据处理，能够解决很多生产环境下的计算问题，但是随着业务逐渐丰富，数据逐渐丰富，这种批处理在很多场景已经不能满足生产环境的需要了，体现例如①离线计算一般就会建立一个数据仓库，数据量大的情况下，计算耗时也会很长。②例如一个业务场景，需要在根绝客户访问一个网站时的浏览、点击行为，实时做出一些业务上的反馈，时延太长这个数据也流失了很多
1.字符串（Strings）字符串是最基本的Redis数据类型。它可以包含任何形式的数据，比如文本、数字或二进制数据。基本用法：设置值: SETkeyvalue获取值: GETkey删除键: DELkey自增: INCRkey追加值: APPENDkeyvalue示例：#设置一个键"mykey"对应字符串"Hello"SETmykey"Hello"#获取"mykey"的值GETmykey#输出:"Hello"#将"mykey"自增（这将返回错误，因为值不是整数）INCRmykey#追加字符串"World"到"mykey"APPENDmykey"World"#再次获取"mykey"的值GETmy
SparkSQL性能调优官网权威资料点击这里也可看全文文章目录在内存中缓存数据其他配置选项SQL查询的连接策略Hints提示SQL查询的合并提示自适应查询执行合并后洗牌分区拆分倾斜的洗牌分区将排序合并join连接转换为广播连接将排序合并join连接转换为随机哈希连接优化倾斜join连接其他Hints描述语法分区提示分区提示类型示例连接提示连接提示类型示例参考链接对于某些工作负载，可以通过将数据缓存在内存中或打开一些实验选项来提高性能。在内存中缓存数据SparkSQL可以使用内存中的列式格式缓存表格，通过调用spark.catalog.cacheTable("tableName")或dataFr
目录一、环境说明二、RDD转Dataframe的方法1、通过StructType创建Dataframe（强烈推荐使用这种方法）
Redis主从复制一、Redis复制复制（Replication）：是Redis实现高可用的基础。且在复制过程中，主节点/从节点都是非阻塞的，但是从节点在执行同步时使用的是旧数据集提供查询。Redis复制启动图与流程说明：1）、当从节点连接到主节点时，会发送psync命令给主节点，runId是主节点的ID；offset是从节点保存复制偏移量，如果没有默认是-1，主节点根据复制偏移量仅发送从节点所需的增量部分，如果是第一次复制则为-1；2）、如果主节点回复+FULLRESYNC，那么从节点将触发全量复制流程；3）、如果主节点回复+CONTINUE，那么从节点触发部分复制；4）、如果主节点回复+E
1.Redis数据结构-动态字符串Redis中保存的Key是字符串，value是字符串或者字符串的集合。可见字符串是Redis中最常用的一种数据结构。Redis没有直接使用C语言中的字符串，因为C语言字符串存在很多问题：获取字符串长度的需要通过运算非二进制安全不可修改Redis构建了一种新的字符串结构，称为简单动态字符串（SimpleDynamicString），简称SDS。例如，我们执行命令：图片那么Redis将在底层创建两个SDS，其中一个是包含“name”的SDS，另一个是包含“虎哥”的SDS。Redis是C语言实现的，其中SDS是一个结构体，源码如下：图片例如，一个包含字符串“name
