草庐IT

docker-spark

全部标签

Docker常用命令

docker常用命令1基础命令sudodockerversion#查看docker的版本信息sudodockerinfo#查看docker系统信息,包括镜像和容器的数量2镜像命令sudodockerimages**#查看本地主机的所有主机镜像#解释**REPOSITORY****#镜像的仓库源****TAG****#镜像的标签****IMAGEID ****#镜像的id****CREATED ****#镜像的创建时间****SIZE ****#镜像的大小**#可选参数**-a/--all****列出所有镜像****-q/--quiet****只显示镜像的id**2.sudodocker

docker 1.13存储路径修改

由于老版本docker还没有data-root配置,特记录一下老版本修改配置。新版本配置修改参考:https://blog.csdn.net/tootsy_you/article/details/126933702修改步骤编辑docker.service服务文件vim/usr/lib/systemd/system/docker.service在EXStart添加如下配置ExecStart=/usr/bin/dockerd-current--graph=/XXX\之后重载、重启dockersystemctldaemon-reloadsystemctlrestartdocker注意如果之前有容器,

Spark升级中对log4j的一些思考

背景最近在做Spark版本的升级(由spark3.1升级到spark3.5),其实单纯从spark升级涉及到的log4j来说,并没有什么能够记录的,但是由于公司内部做了Spark的serveless,把spring和spark混在了一起,所以导致了不可预见的问题分析我们Spring用的是5.2.6.RELEASE版本,由于spark用的是logback作为日志的具体实现,而Spark在3.1和spark3.5是采用了不同的日志具体实现:在spark3.1中采用的是log4j1(log4j+slf4j-log4j2),spark3.5中采用的是log42(log4j-core+log4j-api

docker 导入镜像 REPOSITORY和tag都是null怎么解决

当使用dockerimport命令导入镜像时,REPOSITORY和TAG字段可能会为null,因为dockerimport命令不会保留镜像的元数据,例如镜像名称和标签。这是因为dockerimport命令主要用于将本地文件系统中的文件或目录导入为Docker镜像,而不涉及Docker镜像仓库中的镜像。如果你想要保留镜像的元数据(如REPOSITORY和TAG),应该使用dockerload命令来加载保存了镜像元数据的tar归档文件。要解决这个问题,你可以按照以下步骤重新导出和导入镜像,以便保留镜像的元数据:导出镜像:使用dockersave命令将镜像导出为tar归档文件。例如:dockers

【云原生之Docker实战】Docker环境下部署WPS Office网页版

【云原生之Docker实战】Docker环境下部署WPSOffice网页版一、WPSOffice网页版介绍1.1WPSOffice网页版简介1.2WPSOffice网页版特点二、本地环境介绍2.1本地环境规划2.2本次实践介绍三、本地环境检查3.1检查Docker服务状态3.2检查Docker版本3.3检查dockercompose版本四、下载wps-office镜像五、部署WPSOffice网页版5.1使用

基于Debain安装 Docker 和 Docker Compose

一、安装Docker#先升级一下系统(Ubuntu/Debian系)sudoapt-getupdatesudoapt-getupgrade#如果你是CentOS、红帽系列则使用:yumupdateyumupgrade#安装Dockercurl-fsSLhttps://get.docker.com-oget-docker.shsudoshget-docker.sh二、Docker更换配置国内镜像1.创建或修改/etc/docker/daemon.json文件vim/etc/docker/daemon.json{"registry-mirrors":["https://hub-mirror.c.1

Linux设置Docker自动创建Nginx容器脚本

文章目录前言一、本地新建脚本二、复制本地脚本到服务器三、执行服务器脚本总结`如有启发,可点赞收藏哟~`前言一、本地新建脚本在本地新建nginx-generator.sh脚本文件,并保存以下内容主要动态定义两个变量(容器名称/服务器本地文件名、端口号)fileName:容器名称/服务器本地文件名port:端口号#!/usr/bin/envbashecho"请输入挂载文件名称(Nginx容器名称):"readFILENAMEif["$FILENAME"x=""x];thenecho"请输入挂载文件名称(Nginx容器名称):"exit0fiecho"请输入端口号:"readPORTif["$POR

4.1 Docker 容器化和镜像管理

Docker容器化和镜像管理容器化的概念介绍容器化的含义,将应用程序及其依赖项封装为一个独立的运行环境,实现隔离和可移植性。强调容器化的优势,如轻量、快速启动、一致性和可扩展性。Docker简介解释Docker是一种主流的容器化技术,以及其对开发、测试和部署的影响。引入Docker的核心概念,包括镜像、容器、Dockerfile和DockerHub。Docker镜像详细解释Docker镜像,是一个只读模板,包含了运行应用程序所需的文件系统和配置。展示如何使用Docker镜像来创建容器实例,以及镜像层的分层结构。Docker容器介绍Docker容器,是基于镜像创建的运行实例,可以隔离运行应用程序

Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决

文章目录Hadoop安装Hive安装HiveOnSpark与SparkOnHive区别HiveOnSparkSparkOnHive部署HiveOnSpark查询Hive对应的Spark版本号下载Spark解压Spark配置环境变量指定Hadoop路径在Hive配置Spark参数上传Jar包并更换引擎测试HiveOnSparkYarn资源分配设置解决依赖冲突问题重编译源码前言:本篇文章在已经安装Hadoop3.3.4与Hive3.1.3版本的基础上进行,与笔者版本不一致也没有关系,按照步骤来就行了。如果你不想使用低版本的Spark(例如:Spark2.x系列),请直接跳转到本文目录【重编译源码】

12.docker的网络-host模式

1.docker的host网络模式简介host模式下,容器将不会虚拟出自己的网卡、配置IP等,而是使用宿主机的IP和端口;也就说,宿主机的就是我的。2.以host网络模式创建容器2.1创建容器我们仍然以tomcat这个镜像来说明一下。我们以host模式启动一个容器t3:dockerrun-d--networkhost-p8081:8080--namet3donkey/tomcat8:1.0.02.2创建容器过程中的问题这里我们看到两个问题:1.容器启动完成后,打印的信息中有个警告信息:WARNING:Publishedportsarediscardedwhenusinghostnetworkm