一、Spark概述.Spark于2009年诞生于美国加州大学伯克利分校的AMP实验室，它是一个可应用于大规模数据处理的统一分析引擎。Spark不仅计算速度快，而且内置了丰富的API，使得我们能够更加容易编写程序。Spark在2013年加入Apache孵化器项目，之后获得迅猛的发展，并于2014年正式成为Apache软件基金会的顶级项目。Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎，它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台的系统。在Spark生态圈中包含了SparkSQL、SparkStreaming、GraphX、MLlib等组件。 图1-1 

如何解决spring循环依赖在Spring框架中，allowCircularReferences属性是用于控制Bean之间的循环依赖的。循环依赖是指两个或多个Bean之间相互依赖的情况，其中一个Bean依赖于另一个Bean，同时另一个Bean又依赖于第一个Bean。allowCircularReferences属性默认是关闭的，即不允许循环依赖存在。如果两个或多个Bean之间存在循环依赖，Spring会抛出BeanCurrentlyInCreationException异常，以避免可能出现的死循环和性能问题。默认情况下，Spring不允许循环依赖，如果存在循环依赖，会抛出BeanCurrent

1.Security 基本配置加入如下依赖org.springframework.bootspring-boot-starter-security创建一个测试Controller如下启动项目后浏览器访问http://localhost:8080/hello提示登录application.yml配置security的name与password 登录后即可正常访问 2.配置不同用户访问页面的不同权限管理员，同事具有ADMIN,USER权限，可以访问所有资源普通用户，只能访问/product/**@Overrideprotectedvoidconfigure(AuthenticationManage

1.Filter介绍Filter是实现在网关路由之前或之后加入一些逻辑，或者拦截过滤的工具，称为过滤器。在SpringCloudGateway中除了内置的Filter之外，也可以自定义Filter来实现自己想要的功能。原理图如下：2.内置FilterSpringcloudgateway内置了很多的filter，单一的有32种，全局的有9种。这个数量实在是太惊人了，而且用法都比较简单，所以这里大家可以自行根据官网给出的演示进行练习官方网址：SpringCloudGatewayGateWay内置的Filter生命周期为两种：pre（业务逻辑之前）post（业务逻辑之后）GateWay本身自带的Fi

文章目录1.HDFSShell概述1.1操作命令管理命令其他命令1.HDFSShell概述HDFSShell是由一系列类似LinuxShell的命令组成的。命令大致可分为操作命令、管理命令、其他命令三类1.1操作命令操作命令是以“hdfsdfs”开头的命令。通过这些命令，用户可以完成HDFS文件的复制、删除和查找等操作，Shell命令的一般格式如下。hdfsdfs[通用选项]其中，hdfs是Hadoop系统在Linux系统中的主命令；dfs是子命令，表示执行文件系统操作；通用选项由HDFS文件操作命令和操作参数组成。(1)创建文件夹命令：hdfsdfs-mkdir[-p]-p]：表示如果父目录

问题：在虚拟机启动hadoop集群后，在window浏览器无法访问http://master:50070、http://master:8088等集群监控界面。问题排查：首先在windows里ping一下是否能通：若不能ping通，试一下pingIP地址，这里master的IP地址为192.168.128.130.若IP地址能ping通，则试一下在浏览器中将master换成IP地址访问一下：如果能利用IP访问，那么可以在Windows里面C:\Windows\System32\drivers\etc路径用管理员权限之后，编辑hosts文件，加入虚拟机各节点的hostname和IP地址。（竖着写，

记录笔记，尝试在centOS下安装Hadoop伪分布式（之前是在Ubuntu下安装的），查漏补缺。步骤第一步：先把在window系统中下载好的关于Hadoop、jdk压缩包用Xftp传输到centos名称自定义，主机我写的是IP地址，需要去centOS的终端输入ifconfig,划黄线的是IP地址  用户名如果在安装centos中没有创建的话，默认是root，密码是登陆密码。点击连接，弹出下面这个对话框，我选的是一次性接受（自行选择）。 成功会亮起小绿点，然后直接把从此电脑中的目标压缩包拖拽到新建会话那边你想放的地方，能记住地址就行。这个地址建议简洁，之后的安装会出现多次。 第二步：设置cen

·CodeInsight是一个基于SpringBoot和Vue3技术栈的博客平台，为开发者和技术爱好者提供了一个专注于现代编程技术分享与学习的高质量平台。在本文中，我们将详细介绍CodeInsight的特点、功能模块以及付费专栏内容。 目录:《用户体验与交互设计实践》用户模块设计原则登录与注册界面设计个人资料管理与展示修改密码与找回密码的设计与实现《SpringBoot与Vue3构建高效文章模块》文章发布与编辑的技术实现文章列表展示与分页技巧文章分类与标签管理的设计与实践文章搜索与推荐算法解析文章阅读统计与数据分析《打造高质量评论模块》评论发布与删除的技术实现评论回复功能的设计与实践评论点赞与

目录前言一、引入依赖1.Thymeleaf，生成PDF相关依赖二、application.yml配置1.yml配置文件三、PDF相关配置1.PDF配置代码（如下）：四、Controller1.请求接口报错解决方式：五、生成PDF文件响应效果前言温馨提示：本博客使用Thymeleaf模板引擎实现PDF打印仅供参考：在阅读该博客之前，先要了解一下Thymeleaf模板引擎，因为是使用Thymeleaf模板引擎实现的PDF打印的，Thymeleaf是一个现代的服务器端Java模板引擎，适用于Web和独立环境。Thymeleaf的主要目标是为您的开发工作流程带来优雅的自然模板——HTML可以在浏览器中

项目架构本文采用Eureka作为注册中心，SpringCloudGateway作为网关服务，JWT令牌库使用nimbus-jose-jwt将服务分为以下几个层次：security-gateway：网关层，负责接收所有网络请求、转发以及权限鉴定security-auth：认证层，负责对登录用户进行认证security‐discovery：注册中心security-api：资源层，提供被访问的资源，用户被鉴权之后才可被访问这样的设计使得各个服务各司其职，认证层进行认证，网关进行转发和鉴权，资源服务只专注于自己的业务逻辑，无需关心权限。也就是说安全校验逻辑只存在于认证服务和网关服务中。权限数据库设计