一、介绍DockerDocker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的Linux或Windows操作系统的机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。为啥使用docker？现存问题？1，环境不一致问题：例如代码一样，却由于环境问题，导致无法运行，或者出现错误2，隔离性问题（由于多用户系统，可能存在一个用户出问题，连带其他用户）3，弹性伸缩（快速的横向扩展多台服务器，一键部署）4，学习成本（学习软件时，安装软件的成本过高）.上述问题，docker很好的帮我们解决了Docker核心思想镜像：存放了操作系
一、引言 前段时间因课业要求使用DockerDesktop部署Kafka集群并编写生产者消费者程序，折磨了我好几天，在查找大量资料后终于是把整个集群搭建完成了。现在我想要分享其中搭建的历程，希望能为大家解决问题。二、Docker集群构建安装环境:Windows102.1 启用或关闭windows功能中勾选适用于linux的子系统,重启机器 启用或关闭windows功能 2.2windowspowershell中检查wsl的更新：wsl--update 2.3Docker官网下载DockerDesktopInstal
sftpgo简介sftpgo是一个功能齐全且高度可配置的SFTP服务器，具有可选的HTTP/S、FTP/S和WebDAV支持。支持多种存储后端：本地文件系统、加密本地文件系统、S3（兼容）对象存储、Google云存储、AzureBlob存储、SFTP。官方网站：https://sftpgo.com/项目地址：https://github.com/drakkan/sftpgosftpgo安装准备一台linux服务器，以ubuntu22.04server为例，已安装docker环境。创建sftpgo数据存储目录mkdir-p/data/sftpgo/{data,home}chown-R1000:1
windows下拉取的项目，会导致sh文件带的换行符不一致导致报错。原来的docker文件源过期，需要网上找新的源来替换。缺少未知的配置文件，比如.env或者其他文件。需要其他同事告知，readme里面没有文档说明是坑。加减agt-getinstall时，最后一个不要加\换行，不然会报错，比如Unsupportedfile/var/www/givenoncommandline，这时候是报的下一行的错误。
今天执行docker时候报错，docker:permissiondeniedwhiletryingtoconnecttotheDockerdaemonsocketatXXX因为是我新装的docker，没有执行过什么任务可能属于新装docker都会有的一些问题一开始是报错：docker:CannotconnecttotheDockerdaemonatunix：xxx意思是无法连接docker，检查一下docker服务是否起来sudosystemctlstatusdocker果然是dead的。那就把docker启动起来systemctlstartdocker之后就可以了为了避免以后重启之后失效：s
系统环境接下来的内容以Ubuntu22.04.1操作系统为例。下载安装DockerUbuntuhi@hi-IdeaCentre-GeekPro-15ICK:~$sudosu[sudo]hi的密码：root@hi-IdeaCentre-GeekPro-15ICK:/home/hi#dockerps找不到命令“docker”，但可以通过以下软件包安装它：aptinstalldocker.io#version24.0.5-0ubuntu1~22.04.1,oraptinstallpodman-docker#version3.4.4+ds1-1ubuntu1.22.04.2root@hi-IdeaCe
按颜色区分转换：绿色是单RDD窄依赖转换黑色是多RDD窄依赖转换紫色是KV洗牌型转换黄色是重分区转换蓝色是特例的转换单RDD窄依赖转换MapPartitionRDD这个RDD在第一次分析中已经分析过。简单复述一下：依赖列表：一个窄依赖，依赖上游RDD分区列表：上游RDD的分区列表计算流程：映射关系（输入一个分区，返回一个迭代器）分区器：上游RDD的分区器存储位置：上游RDD的优先位置可见除了计算流程，其他都是上游RDD的内容。map传入一个带“值到值”转化函数的迭代器（例如字符串到字符串长度）mapPartitions传入一个“迭代器到迭代器”的转化函数，如果需要按分区做一些比较重的过程（例如
Hadoop高可用集群完全分布式安装教程一篇就够用（zookeeper、spark、hbase、mysql、hive）写在之前，Hadoop完全分布式集群资源配置规划情况一、全局基本配置💡建议一开始安装的时候在网络配置项的地方,选择自动ipv4,然后进行ip设置1、更改静态网络命令如下：#检查虚拟机是否能够ping通www.baidu.comservicenetworkrestart#尝试重启网络服务#修改网络服务为静态网络指定路由以及DNS服务器vim/etc/sysconfig/network-scripts/ifcfg-ens33文件内容如下：TYPE=EthernetPROXY_MET
文章目录前言docker-compose快速搭建kafka集群（较详细）docker-compose快速搭建Zookeeper集群+kafka集群参考资料前言当前是在学习kafka3.0的教程，基于需求就进行搭建了kafka集群，kafka在2.8.0之前是需要zookeeper的，之后可以不需要依赖了，目前的部署方案是基于zookeeper集群的情况下进行的，若是你还没有搭建zookeeper集群，可见：docker-compose快速搭建Zookeeper集群。我自己搭建录制了个视频见：docker-compose快速搭建zookeeper集群以及kafka集群所有博客文件目录索引：博客目
上一篇介绍了zookeeper的作用以及原理，这一篇我们介绍消息中间件kafka以及为什么要用kafka，什么业务场景下需要kafka，还有不同业务场景应该用哪一种消息中间件。最后还有kafka集群的搭建。注，kafka从2.8版本开始已经在逐步取消依赖zookeeper了，本文依赖zookeeper以及不依赖zookeeper改用Kraft模式都会介绍。kafka是什么在说kafka是什么之前，我们应该先知道，消息中间件是什么。举个例子，大家网上买东西，现在很多时候都会放到驿站或者快递柜，而不是快递员直接送到你手上，然后你什么时候去取快递，那就是你的事了，那在这个过程中，中间的这个驿站或者快
