目录前言一、基于已有的镜像创建步骤一：先基于现有的镜像创建一个容器，然后进入容器去完成修改步骤二：将该容器作为一个模板提交创建为一个新的镜像步骤三：基于新的镜像，dockerrun创建一个容器，进行测试二、基于本地模板创建第一种：从网上去下载第二种：将运行中的容器导入为模板，然后再进行导入三、基于Dockerfile创建1.联合文件系统（UnionFS）2.镜像加载原理3.为什么Docker里的centos的大小才200M？4.Dockerfile 5.Docker镜像结构的分层6.Dockerfile操作常用的指令7.如何使用Dockerfile构建镜像四、Dockerfile案例案例：通过
目录一，绪论1、项目背景：2、目标：3、用户群体：二．相关开发技术介绍（一）后端相关技术1.sparkSQL简介2.kettle简介3.tensorflow简介（二）前端相关技术1.HTML简介2.echarts简介（三）相关数据库1.Mysql简介2.hive简介三．需求分析三．系统设计项目框架：系统目的：数据库设计：四．系统实现1.预处理：数据仓库：分层导入导出：预测部分代码和结果：运行结果：可视化展示五．得到结论一，绪论1、项目背景：通过合理的预测预测各个年份出版图书的占比可以提供一些有用的信息和洞察，例如：市场趋势分析：通过观察图书占比的变化，可以分析出版业的发展趋势和变化趋势，了解不
本篇学习笔记文档对应B站视频：同学们，在前两天我们学习了Linux操作系统的常见命令以及如何在Linux上部署一个单体项目。大家想一想自己最大的感受是什么？我相信，除了个别天赋异禀的同学以外，大多数同学都会有相同的感受，那就是麻烦。核心体现在三点：命令太多了，记不住软件安装包名字复杂，不知道去哪里找安装和部署步骤复杂，容易出错其实上述问题不仅仅是新手，即便是运维在安装、部署的时候一样会觉得麻烦、容易出错。特别是我们即将进入微服务阶段学习，微服务项目动辄就是几十台、上百台服务需要部署，有些大型项目甚至达到数万台服务。而由于每台服务器的运行环境不同，你写好的安装流程、部署脚本并不一定在每个服务器都
1.准备工作可以本地运行的Python程序这个因人而异，可以是Anaconda环境，也可以是本机运行的Python环境，确保python程序是可以正常运行的。Docker环境Docker环境是打包镜像必需的，可以安装DockerDesktopforWindows，也可以是Linux系统安装的Docker环境。本文以Windows为例，去官网下载安装包，安装完成之后打开就可以看到这个界面了。不过我还是喜欢用命令行的方式进行操作。安装完之后再打开PowerShell，可以正常使用docker命令。3.pip生成环境依赖文件requirements.txt[推荐]使用pipreqs写入require
目录Spark的五种joinBroadcasthashJoinBroadcastJoin的条件broadcasthashjoin可以分为两步SortMergeJoinCartesianJoinBroadcastNestedLoopJoin五种join优先级Spark2遇到的问题问题一：并行度问题问题二：join策略选择问题三：数据倾斜的问题数据倾斜引起的原因数据倾斜的危害如何解决数据倾斜Spark3的AQE（adaptivequeryexecution）AdaptiveExecution框架并行度优化Join策略优化数据倾斜优化处理Spark的五种joinBroadcasthashjoin：适
问题现象云主机配置了Docker双栈网络后，ipv6网络异常，无法ping通ipv6网关。排查过程检查IPV6路由ip-6route可见系统缺失默认路由。通过抓包可发现，系统未发rs（RouterAdvertisement）报文，导致接收不到ra通告，无法生成路由。检查系统内核参数，发现如下配置：net.ipv6.conf.all.forwarding=1net.ipv6.conf.default.forwarding=1net.ipv6.conf.eth0.forwarding=1net.ipv6.conf.eth1.forwarding=1net.ipv6.conf.all.accept_
报错问题描述ERROR:FAILED:ExecutionError,returncode30041fromorg.apache.hadoop.hive.ql.exec.spark.SparkTask.[wyh@hadoop1002spark]$*************************************************ERROR:FAILED:ExecutionError,returncode30041fromorg.apache.hadoop.hive.ql.exec.spark.SparkTask.Failedtoexecutesparktask,withexcep
Spark底层执行原理学习Spark运行流程学习链接：https://mp.weixin.qq.com/s/caCk3mM5iXy0FaXCLkDwYQ一、Spark运行流程流程：SparkContext向管理器注册并向资源管理器申请运行Executor资源管理器分配Executor，然后资源管理器启动ExecutorExecutor发送心跳至资源管理器SparkContext构建DAG有向无环图将DAG分解成Stage(TaskSet)把Stage发送给TaskSchedulerExecutor向SparkContext申请TaskTaskScheduler将Task发送给Executor运
【ElasticSearch】docker部署ElasticSearch、常用RestfulAPI的使用（一）文章目录【ElasticSearch】docker部署ElasticSearch、常用RestfulAPI的使用（一）前言一、docker部署ElasticSearch1.1配置ElasticSearch容器1.2配置ik中文分词器二、常用RestfulAPI的使用2.1基本Rest命令说明2.2索引操作创建索引查看所有索引查看单个索引删除索引2.3文档操作创建文档查看文档查看索引下的所有文档修改文档（全覆盖）修改字段（更新局部信息）删除文档条件删除文档2.4映射操作创建映射查看映射测
ERRORUnabletoinitializebackend:mkdir/data/.minio.sys:permissiondenied0出现的原因:官方说明中,容器内部,minio使用的是1001的一个用户权限进行操作,所以映射目录有会有权限不足的情况原文如下:NOTE:Asthisisanon-rootcontainer,themountedfilesanddirectoriesmusthavetheproperpermissionsfortheUID1001.1解决方案1.1对于启动命令或者docker-compose.yml中的操作1.1.1docker命令直接启动dockerrun
