水善利万物而不争，处众人之所恶，故几于道💦文章目录一、概念二、理解1.弹性2.分布式3.数据集三、5个主要特性1.一个分区列表2.作用在每个分区上的计算函数3.一个和其他RDD的依赖列表4.一个分区器（可选）5.计算的最佳位置（可选）一、概念 RDD就是Spark中的一种数据抽象，比如下面的代码（不用管他是干啥的）很多操作的返回值就直接是一个RDD类型。代码里面RDD就是一个抽象类 你可以理解成函数，但是Spark里面它不叫函数，它同样封装的是对数据的操作，a操作的返回值类型是一个RDD，b又基于a的结果进行操作返回值的类型又是一个RDD…你可以想象成套娃，就比如下图 外层的RDD依赖于
hostnamectlset-hostnamehive-master写在前面想练练HiveSQL，但是没有hiveshell环境。现在只有一台空的CentOS7机子，一想要弄jdk、hadoop、mysql、hive就头疼。于是在网上找了找，发现用docker部署hive会快很多，在此记录一下部署过程。以下过程每一步在文末都附有参考文档，出错的朋友可以去看对应的参考文档。步骤安装docker安装git，配置github。因为用的是github上大佬写好的dockercompose服务，所以要gitclone下来。部署hive使用hive命令行收尾工作一、安装docker要用到docker和do
SparkGraphxPregel原理方法示例源码详解–点击此标题看全文文章目录[SparkGraphxPregel原理方法示例源码详解--点击此标题看全文](https://zhuanlan.zhihu.com/p/678378877)基本思想实现的关键要点底层实现消息传递特征Combiners特征Aggregators特征方法参数类型参数：示例源码objectPregelobjectGraphXUtilsclassGraphobjectGraph论文链接高频引用文章基本思想Pregel计算模型是一个分布式计算模型，主要用于大规模图计算。它的基本思想是迭代计算和顶点为中心，并采用消息传递机制
目录使用Docker部署Tomcat1.获取镜像2.第一次启动tomcat3.带参数启动4.查看tomcat日志5.时区问题使用Docker部署Tomcat1.获取镜像dockerpulltomcat:8.5.38dockerimages2.第一次启动tomcat该步骤作用：是为了拷贝容器中Tomcat中的conf下配置文件和webapps下的管理页面，用于后面自定义Tomcat服务器配置或者部署应用。第一次启动：dockerrun-d--nametomcat8-p8081:8080tomcat:8.5.38在宿主机创建文件夹：mkdir-p/home/tomcat8从容器中拷贝配置文件和应用
一.SPark基本介绍1.Spark是什么?1.1定义ApacheSpark是用于大数据处理的统一分析引擎;1.2Spark与MapReduce对比MapReduce的主要缺点:①MapReduce是基于进程进行数据处理,进程相对与线程来说,创造和销毁的过程比较耗费资源,并且速度比较慢;②MapReduce在运行的时候,中间有大量的磁盘IO过程,也就是磁盘数据到内存,内存到磁盘的读写过程;③MapReduce只提供了非常低级的编程API,如果需要实现复杂的程序,就需要大量的代码;Spark相对MapReduce的优点:①Spark是基于线程来执行任务;②引入了新的数据结构RDD(弹性分布式数据
一、简介：/etc/docker/daemon.json是 Docker守护程序的配置文件，它允许管理员自定义Docker守护程序的行为。下面列举了一些常见的配置项以及它们的用途，并给出每项配置的示例。二、常见配置项vim/etc/docker/daemon.json{ "data-root":"/data/docker","exec-root":"/var/run/docker","bridge":"none","iptables":false,"hosts":["unix:///var/run/docker.sock","tcp://0.0.0.0:4243"],"labels":["Al
本文声明仅AWVS用作学习使用将镜像文件secfa_awvs.tar复制到目标机器上。我的百度网盘文件路径：链接：https://pan.baidu.com/s/1Pe4qlVp9XKbZ3dLrouaP2w提取码：67mc–来自百度网盘超级会员V6的分享在目标机器上，使用以下命令docker导入镜像：dockerload-isecfa_awvs.tar或使用dockerpull下载dockerpullsecfa/awvs使用以下命令docker启动镜像dockerrun-itd-p13443:3443--nameacunetix_web--cap-addLINUX_IMMUTABLEsecf
我想既然接口跑在Serverless上，索性数据库也买一个MongoDB云数据库吧，这样大家完全不需要买服务器自己部署，对前端来说门槛更低。然后我找到了云数据库，看到价格傻眼了：确实买不起啊，还是我自己搭建吧。还好我有好基友Docker，搭建一个MongoDB不费事。目前MongoDB最新版本是7.x，我们用上一个版本6.x。运行容器启动MongoDB安装Docker大家直接从官网下载安装就可以了，测试的话在本地装一个DockerDesktop很方便。（1）拉取MongoDB的官方镜像：$dockerpullmongo:6（2）在宿主环境中创建两个目录，作为容器数据卷：/docker/mong
查看原文文章目录基于CentOS7系统部署Jenkins环境基于Docker安装部署Jenkins环境配置Jenkins中文模式配置用户名密码形式的Jenkins凭据配置ssh私钥形式的Jenkins凭据配置Jenkins执行任务的节点基于CentOS7系统部署Jenkins环境（1）首先确保已经安装jdk，如未安装，请参考Java----新手一步一步安装Java语言开发环境先安装jdk环境（2）配置Jenkins源sudowget-O/etc/yum.repos.d/jenkins.repohttps://pkg.jenkins.io/redhat-stable/jenkins.reposu
导言xxl-job是一款开源的分布式任务调度平台，支持在线管理任务和调度任务。本文将详细介绍如何基于2.2.0版本进行xxl-job的部署，包括数据库的初始化、镜像的拉取和运行、以及Nginx的配置。部署数据库首先，我们需要部署MySQL数据库作为xxl-job的后端存储。执行以下命令：dockerrun-d--namemysql--restart=always-v/usr/share/zoneinfo/Asia/Shanghai:/etc/localtime-v/data/mysql/data:/var/lib/mysql-eMYSQL_ROOT_PASSWORD=123456-p3306:
