Spark环境搭建JunLeon——gobigorgohome目录Spark环境搭建目录Spark环境搭建一、环境准备1、软件准备2、Hadoop集群搭建3、Anaconda环境搭建二、SparkLocal模式搭建1、Spark下载、上传和解压2、配置环境变量3、配置Spark配置文件4、测试5、补充：spark-shell、spark-submit三、SparkStandone模式搭建1、Hadoop集群与Spark集群节点规划2、三台虚拟机分别安装Anaconda3环境3、配置Spark配置文件（1）配置spark-env.sh文件（2）配置spark-defaults.conf文件（3）
限流概述系统存在服务上限，流量超过服务上限会导致系统卡死、崩溃。限流：为了在高并发时系统稳定可用，牺牲或延迟部分请求流量以保证系统整体服务可用。限流算法固定窗口计数将时间划分为多个窗口；在每个窗口内每有一次请求就将计数器加一；如果计数器超过了限制数量，则本窗口内所有的请求都被丢弃，当时间到达下一个窗口时，计数器重置。滑动窗口计数将时间划分为多个区间；在每个区间内每有一次请求就将计数器加一维持一个时间窗口，占据多个区间；每经过一个区间的时间，则抛弃最老的一个区间，并纳入最新的一个区间；如果当前窗口内区间的请求计数总和超过了限制数量，则本窗口内所有的请求都被丢弃。漏桶将每个请求视作"水滴"放入"漏
限流概述系统存在服务上限，流量超过服务上限会导致系统卡死、崩溃。限流：为了在高并发时系统稳定可用，牺牲或延迟部分请求流量以保证系统整体服务可用。限流算法固定窗口计数将时间划分为多个窗口；在每个窗口内每有一次请求就将计数器加一；如果计数器超过了限制数量，则本窗口内所有的请求都被丢弃，当时间到达下一个窗口时，计数器重置。滑动窗口计数将时间划分为多个区间；在每个区间内每有一次请求就将计数器加一维持一个时间窗口，占据多个区间；每经过一个区间的时间，则抛弃最老的一个区间，并纳入最新的一个区间；如果当前窗口内区间的请求计数总和超过了限制数量，则本窗口内所有的请求都被丢弃。漏桶将每个请求视作"水滴"放入"漏
我们写东西的时候总会遇到lua中要调用java代码，当然这个用JNI肯定是可以做到的，但是有更加方便的办法—LuaJavaBridge。一、luaj主要特征*可以从Lua调用JavaClassStaticMethod*调用Java方法时，支持int/float/boolean/String/Luafunction五种参数类型*可以将Luafunction作为参数传递给Java，并让Java保存Luafunction的引用*可以从Java调用Lua的全局函数，或者调用引用指向的Luafunctionluaj的功能很简单，但对于集成各种SDK来说已经完全满足需求了。二、luaj用法示例Java方法
我们写东西的时候总会遇到lua中要调用java代码，当然这个用JNI肯定是可以做到的，但是有更加方便的办法—LuaJavaBridge。一、luaj主要特征*可以从Lua调用JavaClassStaticMethod*调用Java方法时，支持int/float/boolean/String/Luafunction五种参数类型*可以将Luafunction作为参数传递给Java，并让Java保存Luafunction的引用*可以从Java调用Lua的全局函数，或者调用引用指向的Luafunctionluaj的功能很简单，但对于集成各种SDK来说已经完全满足需求了。二、luaj用法示例Java方法
多级缓存简介1.传统缓存传统的缓存策略一般是请求到达Tomcat后，先查询Redis，如果未命中则查询数据库，如图：存在下面的问题：•由于redis的承受能力大于tomcat，所以请求要经过Tomcat处理，Tomcat的性能成为整个系统的瓶颈•Redis缓存失效时，会对数据库产生冲击2.多级缓存理论多级缓存就是充分利用请求处理的每个环节，分别添加缓存，减轻Tomcat压力，提升服务性能：浏览器访问静态资源时，优先读取浏览器本地缓存访问非静态资源（ajax查询数据）时，访问服务端请求到达Nginx后，优先读取Nginx本地缓存如果Nginx本地缓存未命中，则去直接查询Redis（不经过Tomc
多级缓存简介1.传统缓存传统的缓存策略一般是请求到达Tomcat后，先查询Redis，如果未命中则查询数据库，如图：存在下面的问题：•由于redis的承受能力大于tomcat，所以请求要经过Tomcat处理，Tomcat的性能成为整个系统的瓶颈•Redis缓存失效时，会对数据库产生冲击2.多级缓存理论多级缓存就是充分利用请求处理的每个环节，分别添加缓存，减轻Tomcat压力，提升服务性能：浏览器访问静态资源时，优先读取浏览器本地缓存访问非静态资源（ajax查询数据）时，访问服务端请求到达Nginx后，优先读取Nginx本地缓存如果Nginx本地缓存未命中，则去直接查询Redis（不经过Tomc
问题描述我在前后端分离项目中，在前端vue里面标签中通过绝对路径访问本地图片，在加载图片的时候会报出Notallowedtoloadlocalresource: ，这个问题我也进行了相关的搜索，出现这个问题的原因是因为浏览器出于安全因素，禁止通过绝对路径访问图片，需要通过虚拟路径进行访问，下面我会简单清楚的说明解决的方法。解决方法通过创建一个配置类，配置类去实现 WebMvcConfigurer接口，重写里面的addResourceHandlers 方法。@ConfigurationpublicclassPictureConversionConfigimplementsWebMvcConfig
问题描述我在前后端分离项目中，在前端vue里面标签中通过绝对路径访问本地图片，在加载图片的时候会报出Notallowedtoloadlocalresource: ，这个问题我也进行了相关的搜索，出现这个问题的原因是因为浏览器出于安全因素，禁止通过绝对路径访问图片，需要通过虚拟路径进行访问，下面我会简单清楚的说明解决的方法。解决方法通过创建一个配置类，配置类去实现 WebMvcConfigurer接口，重写里面的addResourceHandlers 方法。@ConfigurationpublicclassPictureConversionConfigimplementsWebMvcConfig
node: 代表物理节点，即电脑台数，一台电脑可以有多个GPUnnodes：物理节点数，就是电脑数量node_rank：物理节点的序号，每个电脑的序号nproc_per_node：每个物理节点上面进程的数量，等价于每个电脑上GPU的数量，就是可以开几个进程。group：进程组。默认只有一个组rank&local_rank:在整个分布式中的序号，每个进程都有一个rank和一个local_rank，rank是相对整个分布式而言（就是序号从0开始一直到整个分布式中最后一个GPU的数，类似于range(0,整个分布式GPU数量），这里不是相对于一个node而言，是所有node的GPU总和），local
