草庐IT

docker-spark

全部标签

Jenkins+Gitee+Docker+Ruoyi项目前后端分离部署

前言描述:本文主要是用来记录如何用标题上的技术,部署到云服务器上通过ip正常访问。一、总览1.1、Docker做的事拉取mysql镜像拉取redis镜像拉取jdk镜像拉取nginx镜像解释说明:前端项目的打包文件放在nginx容器运行。后端的jar包放在jdk容器运行。另外两个是后端项目需要用到的数据库。1.2、Jenkins做的事解释说明:去Gitee仓库拉取源代码,自动化构建、打包、部署到云服务器上运行。二、Docker实战2.1拉取mysql镜像命令如下所示:#拉取镜像dockerpullmysql:8.0#启动命令dockerrun-p3306:3306--namemysql-v$PW

【docker】 Unable to find image的解决办法

 今天尝试了下docker,发现存在以下问题,进行记录。时间:2023-12-26操作系统:centosopencloudos(腾讯云服务器所用centos)1、pull测试的hello-world镜像报错:[root@~]#dockerrunhello-worldUnabletofindimage'hello-world:latest'locally查了下,需要新建daemon.json文件,把docker国外源变更为国内源。2、尝试[root@~]#vim/etc/docker/daemon.json在里面insert:{"registry-mirrors":["https://regis

Spark连接快速入门

文章最前:我是Octopus,这个名字来源于我的中文名--章鱼;我热爱编程、热爱算法、热爱开源。所有源码在我的个人github ;这博客是记录我学习的点点滴滴,如果您对Python、Java、AI、算法有兴趣,可以关注我的动态,一起学习,共同进步。SparkConnect为Spark引入了解耦的客户端-服务器架构,允许使用DataFrameAPI远程连接到Spark集群。本笔记本通过一个简单的分步示例演示如何使用SparkConnect构建在处理数据时需要利用Spark强大功能的任何类型的应用程序。SparkConnect包括客户端和服务器组件,我们将向您展示如何设置和使用这两个组件。使用Sp

【Docker】部署和运行青龙面板:一个支持python3、javaScript、shell、typescript 的定时任务管理面板

引言青龙面板是一个支持python3、javaScript、shell、typescript的定时任务管理面板。步骤拉取镜像从DockerHub上拉取最新的“qinglong”镜像。dockerpullwhyour/qinglong:latest启动容器使用刚刚拉取的镜像来启动一个新的Docker容器。dockerrun-dit\-v$PWD/ql/config:/ql/config\-v$PWD/ql/log:/ql/log\-v$PWD/ql/db:/ql/db\-v$PWD/ql/repo:/ql/repo\-v$PWD/ql/raw:/ql/raw\-v$PWD/ql/scripts:

[slam]docker-slam下的建图与定位

目录1.实验目的:2.实验设备:3.各个传感器驱动使用步骤4.实验原理5.实验详细步骤、遇到的问题及解决方法1.首先下载docker2.下载.bag数据集和.tar数据压缩包3.将.tar文件导入docker中(此步骤可能会较慢)4.将镜像生成容器5.进入容器6.建图部分1.下载gtsam库和geographiclib库2.将liorf与liorf_localization两个文件夹放入workspace中src里面3.生成PCD来定位4.运行slam可视化7.定位部分1.设置话题名字2.运行slam可视化6.实验总结1.实验目的:1.实现slam视觉下的建图与定位2.使我们了解如何熟练运用r

解决docker报错 failed to build: manifest for java:8 not found: manifest unknown: manifest unknown

执行:docker-composebuild报错:修改dockerfile中的Fromjava:8,改为:Fromopenjdk:8修改保存后,重新执行构建命令,成功:

Spark大数据分析与实战笔记(第三章 Spark RDD弹性分布式数据集-01)

文章目录每日一句正能量第3章SparkRDD弹性分布式数据集章节概要3.1RDD简介3.2RDD的创建方式3.2.1从文件系统加载数据创建RDD3.2.2通过并行集合创建RDD每日一句正能量学如积薪,后来者居上。第3章SparkRDD弹性分布式数据集章节概要传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点,但是其最大缺点是采用非循环式的数据流模型,使得在迭代计算式要进行大量的磁盘IO操作。Spark中的RDD可以很好的解决这一缺点。RDD是Spark提供的最重要的抽象概念,我们可以将RDD理解为一个分布式存储在集群中的大型数据集合,不同RDD之间可以通过转换操作形成依赖关系实

【Docker】Docker Image(镜像)

文章目录一、Docker镜像是什么?二、镜像生活案例三、为什么需要镜像四、镜像命令详解dockerrmidockersavedockerloaddockerhistorydockerimageprune五、镜像操作案例六、镜像综合实战实战一、离线迁移镜像实战二、镜像存储的压缩与共享一、Docker镜像是什么?Dockerimage本质上是一个read-only只读文件,这个文件包含了文件系统、源码、库文件、依赖、工具等一些运行application所必须的文件.我们可以把Dockerimage理解成一个模板,可以通过这个模板实例化出来很多容器。image里面是一层层文件系统UnionFS。联合

RedHat8 安装部署DzzOffice协同办公平台+onlyoffice(docker)以及问题解决(亲测可用,花费2天)

一、基础配置(Mysql+Dzzoffice)1:安装软件需要的环境,我们用LAMP的环境。基本上CentOS8自带的软件版本都达到安装DzzOffice的要求。2:关闭防火墙(不关的话需要开放80端口自行决定)。systemctldisable--nowfirewalld3:临时关闭SELINUX。setenforce0永久关闭SELINUX,重启生效。sed-is/SELINUX=enforcing/SELINUX=disabled//etc/selinux/config4:安装Apache。yuminstall-yhttpd5:安装PHP。自带的版本是7.2。yuminstall-yph

返回null dayofyear函数 - Spark SQL

我是Databricks&火花/Scala。我目前正在研究机器学习以进行销售预测。我使用Dayfyear功能创建功能。唯一的问题是返回我的零值。我尝试使用此CSV,因为我正在使用另一个CSV,我认为这可能来自此。但是显然,我错了。我阅读了有关此功能的文档,但描述确实很短。我尝试了dayofmonth或neekefyear,结果相同。您能解释一下我如何解决这个问题吗?我究竟做错了什么?valpath="dbfs:/databricks-datasets/asa/planes/plane-data.csv"valdf=sqlContext.read.format("csv").option