kafkak集群的安装部署

小-枝-丫 2023-12-23 原文

一、前期准备

主机名	用户	安装路径
HadoopMaster	hadoop	/home/hadoop/software/kafka_2.11-2.3.1/
HadoopSlave01	hadoop	/home/hadoop/software/kafka_2.11-2.3.1/
HadoopSlave02	hadoop	/home/hadoop/software/kafka_2.11-2.3.1/

1. 三台主机都需要安装好jdk

如果没有安装好jdk，可以参考这篇文章：

https://blog.csdn.net/m0_61232019/article/details/126587725?spm=1001.2014.3001.5502

2. 三台主机都要配置好zookeeper

如果没有安装好zookeeper，可以参考这篇文章：

https://blog.csdn.net/m0_61232019/article/details/127506509?spm=1001.2014.3001.5502

3. 准备好kafka压缩包

kafka2.11下载链接：http://链接：https://pan.baidu.com/s/1FJp6eZ4PWhQ9CTeU0YqfOA?pwd=g0c2

二、kafka集群的安装

1. 上传压缩包

将kafka_2.11-2.3.1.tgz上传到HadoopMaster主机的/home/hadoop/software/下

2. 解压

cd /home/hadoop/software/
tar -zxvf kafka_2.11-2.3.1.tgz  
#默认将kafka_2.11-2.3.1.tgz解压到/home/hadoop/software/目录下

3. 创建消息目录

cd /home/hadoop/software/kafka_2.11-2.3.1/
mkdir kafka-logs

4. 修改`server.properties`文件

cd /home/hadoop/software/kafka_2.11-2.3.1/config
vi server.properties
# 修改如下参数
broker.id=0 
listeners=PLAINTEXT://HadoopMaster:9092
log.dirs=/home/hadoop/software/kafka_2.11-2.3.1/kafka-logs
zookeeper.connect=HadoopMaster:2181,HadoopSlave01:2181,HadoopSlave02:2181


找对对应的信息进行修改即可
注意不是直接将这些信息复制到server.properties里，server.properties文件里边已经有对应的信息，我们进行修改即可
其中listeners=PLAINTEXT://HadoopMaster:9092这里需要自行取消注释

注：

broker.id：集群内全局唯一标识符，每一个节点上需要设置不同的值（值可以随机但是不能相同）

listeners：这个是与本级相关的，需要每个节点设置为自己的主机名或者ip

log.dirs：存放kafka消息，也就是之前创建的kafka-logs目录

zookeeper.connect：配置zookeeper集群的地址（主机名:2081,主机名：2181,主机名:2181—中间用逗号隔开，2181是默认的）

5. 分发 kafka安装目录

scp -r /home/hadoop/software/kafka_2.11-2.3.1/   HadoopSlave01:~/software/
scp -r /home/hadoop/software/kafka_2.11-2.3.1/   HadoopSlave02:~/software/

6. 修改HadoopSlave01,HadoopSlave02下的kafka配置文件server.properties

分别HadoopSlave01,HadoopSlave02中的server.properties配置文件中的 broker.id 和listeners 参数

#HadoopSave01修改如下

broker.id=1
listeners=PLAINTEXT://HadoopSave01:9092

#HadoopSave02修改如下
broker.id=2
listeners=PLAINTEXT://HadoopSave01:9092

#其中broker.id的1 和 2 是任意的，只要不重复就可以

7. 配置环境变量

export KAFKA_HOME=/home/hadoop/software/kafka_2.11-2.3.1
export PATH=$PATH:$KAFKA_HOME/bin

注：三台都要分别配置环境变量

/home/hadoop/software/kafka_2.11-2.3.1对应换成自己的安装路径

7. 启动kafka集群

1. 启动kafka集群之前要先启动zookeeper集群（三台都需要启动）

2. 启动kafka集群：（三台主机都要分别执行）

kafka-server-start.sh  -daemon /home/hadoop/software/kafka_2.11-2.3.1/config/server.properties

注：这里的 /home/hadoop/software/kafka_2.11-2.3.1/config/server.properties 要换成自己的安装路径

3.启动之后jps，出现kafka进行就算完成啦

[hadoop@HadoopMaster ~]$ jps
88711 QuorumPeerMain
44043 Kafka
49388 Jps

加油，每天坚持学习，每天积累一点点，每天进步一点点。

kafkak 集群 kafka style E5 java 大数据

有关kafkak集群的安装部署的更多相关文章

ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2
我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po
ruby - 完全离线安装RVM - 2
我打算为ruby脚本创建一个安装程序，但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目，就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身，只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导，因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身，并查看脚本https://raw.github.com/wayn
ruby-on-rails - rails 目前在重启后没有安装 - 2
我有一个奇怪的问题:我在rvm上安装了rubyonrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(
ruby - 如何为 emacs 安装 ruby-mode - 2
我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby提供代码提示、代码完成类型功能所需的工具、扩展是什么？最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过，它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs
ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2
我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e
ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2
我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search
ruby - 如何在 Lion 上安装 Xcode 4.6，需要用 RVM 升级 ruby - 2
我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121
ruby - Fast-stemmer 安装问题 - 2
由于fast-stemmer的问题，我很难安装我想要的任何rubygem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=
ruby-on-rails - 每次我尝试部署时，我都会得到 - (gcloud.preview.app.deploy) 错误响应 : [4] DEADLINE_EXCEEDED - 2
我是Google云的新手，我正在尝试对其进行首次部署。我的第一个部署是RubyonRails项目。我基本上是在关注thisguideinthegoogleclouddocumentation.唯一的区别是我使用的是我自己的项目，而不是他们提供的“helloworld”项目。这是我的app.yaml文件runtime:customvm:trueentrypoint:bundleexecrackup-p8080-Eproductionconfig.ruresources:cpu:0.5memory_gb:1.3disk_size_gb:10当我转到我的项目目录并运行gcloudprevie
ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2
当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub