对于个人开发者而言，一般手头上没有多台服务器，有人可能会有云服务器，不过一般也只会买一台来用用就好；有人可能更习惯将本机当作服务器来玩。都可以。那么如何通过一台服务器或本机来搭建Kafka集群呢？
无外乎两种方式，一是通过docker来搭建，每台kafka broker用不同的端口来启动，即可组成集群；二是通过虚拟机来搭建，即用VMware在服务器或本机上启动多台虚拟机，每台虚拟机都安装一个kafka broker。笔者采用的是第一种方式。
Linux系统：centos 8
Zookeeper：wurstmeister/zookeeper
Kafka：wurstmeister/kafka
如下图，笔者准备搭建一台Zookeeper以及三个Kafka broker组成的Kafka Cluster。
首先用docker search命令来查找docker上有哪些可用的Zookeeper镜像。
docker search zookeeper
照理说，镜像最好选择官方镜像，也就是上图中的第一个。但是笔者这里选择第二个镜像wurstmeister/zookeeper，那是因为我发现用docker查找Kafka的镜像时是没有官方镜像的，而Kafka镜像中排在第一的也是以wurstmeister为开头的。也就是说，这两个镜像是出自同一家机构或个人的。
然后拉取镜像，默认拉取最新版本的。
docker pull wurstmeister/zookeeper
docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
启动好了Zookeeper服务之后，来开始搭建Kafka Cluster了。
同样用docker search命令来查找Kafka的镜像，这里有个小插曲，笔者发现个问题。
直接用docker search查找，结果集中并未有wurstmeister/kafka，而用
docker search kafka --limit=50这条命令查找，结果集的第一条就是wurstmeister/kafka，且收藏数最多。也就是说，docker search这条命令返回的结果集在默认情况下是有条数限制的。但奇怪的是，就算有条数限制，为什么不按照收藏量（STARS）优先返回镜像的结果集呢？这个疑惑暂且放下，知道的同学麻烦在评论区告知一下哈。
docker pull wurstmeister/kafka
命名为：kafka0 端口：9092 brokerId: 0
docker run -d --name kafka0 -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=xxx:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://xxx:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka命名为：kafka1 端口：9093 brokerId: 1
docker run -d --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=xxx:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://xxx:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka命名为：kafka2 端口：9094 brokerId: 2
docker run -d --name kafka2 -p 9094:9094 -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=xxx:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://xxx:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka【Attention：以上三条命令中的xxx用自己的服务器ip替换】
执行上面三条命令后，分别在9092 / 9093 / 9094三个端口启动了kafka broker，执行docker ps查看结果。
至此，三个broker节点的Kafka集群搭建完成。
笔者一开始在启动kafka的时候，一直启动失败。报错如下：
kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING
大概翻译过来就是kafka服务在启动的时候连接Zookeeper服务超时，说白了，就是连不上。
btw，如果容器没起来的话，无法通过docker exec进入容器查看容器日志，此时可以用
docker logs 容器id 查看docker容器的日志（注意是容器id，并不是镜像id）。
笔者在这个问题上搞了将近一个小时，才想起来是云服务器的网络安全组的规则忘记配置了。
于是立马登上云服务器配置了一下，然后kafka就能启动成功了。
执行docker exec命令随意进入一个broker的容器内，再进入opt目录。
进入opt目录后发现有两个kafka，对比了一下，两个kafka目录差不多，都有bin下的各种可执行脚本，都有config下的各种properties配置文件。这里，笔者选择了kafka_2.13-2.8.1目录。
笔者创建了一个名为 topic-demo 的主题，该主题有3个分区，3个副本因子。
从 describe 命令可以看到3个分区均匀地分布在三个broker中。可见，这三个broker已经成功地组成了Kafka集群了。
执行操作主题等相关命令，可参考：Kafka学习——梳理bin目录下各个脚本的用法（五）
1.错误信息：Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:requestcanceledwhilewaitingforconnection(Client.Timeoutexceededwhileawaitingheaders)或者：Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:TLShandshaketimeout2.报错原因：docker使用的镜像网址默认为国外，下载容易超时，需要修改成国内镜像地址（首先阿里
我正在尝试使用docker运行一个Rails应用程序。通过github的sshurl安装的gem很少，如下所示:Gemfilegem'swagger-docs',:git=>'git@github.com:xyz/swagger-docs.git',:branch=>'my_branch'我在docker中添加了keys，它能够克隆所需的repo并从git安装gem。DockerfileRUNmkdir-p/root/.sshCOPY./id_rsa/root/.ssh/id_rsaRUNchmod700/root/.ssh/id_rsaRUNssh-keygen-f/root/.ss
我在Heroku上构建了一个必须在Docker容器内运行的RoR应用程序。为此，我使用officialDockerfile.因为它在Heroku中很常见，所以我需要一些附加组件才能使这个应用程序完全运行。在生产中，变量DATABASE_URL在我的应用程序中可用。但是，如果我尝试其他一些使用环境变量(在我的例子中是Mailtrap)的加载项，变量不会在运行时复制到实例中。所以我的问题很简单:如何让docker实例在Heroku上执行时知道环境变量？您可能会问，我已经知道我们可以在docker-compose.yml中指定一个environment指令。我想避免这种情况，以便能够通过项目
我在开发和生产中都使用docker，真正困扰我的一件事是docker缓存的简单性。我的ruby应用程序需要bundleinstall来安装依赖项，因此我从以下Dockerfile开始:添加GemfileGemfile添加Gemfile.lockGemfile.lock运行bundleinstall--path/root/bundle所有依赖项都被缓存，并且在我添加新gem之前效果很好。即使我添加的gem只有0.5MB，从头开始安装所有应用程序gem仍然需要10-15分钟。由于依赖项文件夹的大小(大约300MB)，然后再花10分钟来部署它。我在node_modules和npm上遇到了
开门见山|拉取镜像dockerpullelasticsearch:7.16.1|配置存放的目录#存放配置文件的文件夹mkdir-p/opt/docker/elasticsearch/node-1/config#存放数据的文件夹mkdir-p/opt/docker/elasticsearch/node-1/data#存放运行日志的文件夹mkdir-p/opt/docker/elasticsearch/node-1/log#存放IK分词插件的文件夹mkdir-p/opt/docker/elasticsearch/node-1/plugins若你使用了moba，直接右键新建即可如上图所示依次类推创建
测试环境对于任何一个软件公司来讲，都是核心基础组件之一。转转的测试环境伴随着转转的发展也从单一的几套环境发展成现在的任意的docker动态环境+docker稳定环境环境体系。期间环境系统不断的演进，去适应转转集群扩张、新业务的扩展，走了一些弯路，但最终我们将系统升级到了我们认为的终极方案。下面我们介绍一下转转环境的演进和最终的解决方案。1测试环境演进1.1单体环境 转转在2017年成立之初，5台64G内存的机器，搭建5个完整的测试环境。就满足了转转的日常所需。一台分给开发，几台分给测试。通过沟通协调就能解决多分支并行开发下冲突问题。1.2动态环境+稳定环境 随着微服务化的进
文章目录查看ES信息查看节点信息查看分片信息实际场景下ES分片及副本数量应该怎么分关于ES的灵活使用查看ES信息查看版本kibana：GET/查看节点信息GET/_cat/nodes?v解释：ip：集群中节点的ip地址；heap.percent：堆内存的占用百分比；ram.percent：总内存的占用百分比，其实这个不是很准确，因为buff/cache和available也被当作使用内存；cpu：cpu占用百分比；load_1m：1分钟内cpu负载；load_5m：5分钟内cpu负载；load_15m：15分钟内cpu负载；node.role：上图的dilmrt代表全部权限master：*代表
elasticsearch查看当前集群中的master节点是哪个需要使用_cat监控命令，具体如下。查看方法es主节点确定命令，以kibana上查看示例如下：GET_cat/nodesv返回结果示例如下：ipheap.percentram.percentcpuload_1mload_5mload_15mnode.rolemastername172.16.16.188529952.591.701.45mdi-elastic3172.16.16.187329950.990.991.19mdi-elastic2172.16.16.231699940.871.001.03mdi-elastic4172
一、解决痛点使用spring-kafka客户端，每次新增topic主题，都需要硬编码客户端并重新发布服务，操作麻烦耗时长。kafkaListener虽可以支持通配符消费topic，缺点是并发数需要手动改并且重启服务。对于业务逻辑相似场景，创建新主题动态监听可以用kafka-batch-starter组件二、组件能力1、新增topic名称为：auto.topic1（由于配置spring.kafka.consumer.prefix为auto，因此只有auto前缀的topic，才会被组件动态监听。）2、应用输出日志，监听到新增auto.topic1，并初始化客户端(主题刷新间隔为10s)3、发新的消
（二十二）-框架主入口main.py设计&log日志调用和生成1测试目的2测试需求3需求分析4详细设计4.1新建存放日志目录log4.1.1配置config.py中写入log的目录4.2`baseInfo.py`中加入日志4.3`test_gedit.py`中加入日志4.4主函数入口main.py中调用日志5调用日志主函数main.py源码6`baseInfo.py`源码7`test_gedit.py`源码8运行效果9目前框架结构1测试目的组织运行所有的测试用例，并调用日志模块，便于问题定位。