草庐IT

windows环境下搭建kafka

一二三向前进 2023-04-13 原文

1、安装Zookeeper

kafka依赖Zookeeper，在安装kafka之前，需要安装、运行Zookeeper

注意：安装之前确保本地Java环境变量配置成功

①下载Zookeeper地址：https://zookeeper.apache.org/releases.html

②解压文件

本文：解压到 E:\zookeeper\zookeeper-3.7.0

③在文件E:\zookeeper\zookeeper-3.7.0内，新增两个文件夹，分别命名为dataDir和dataLogDir

④进入 E:\zookeeper\zookeeper-3.7.0\conf 文件内，复制zoo_sample.cfg文件，并将新复制的文件命名为zoo.cfg，修改文件zoo.cfg内容

修改文件zoo.cfg命令

vim zoo.cfg

执行vim zoo.cfg命令之后进入zoo.cfg文件内，输入英文“i”，文件处于可编辑状态，新增以下代码

dataDir=E:\zookeeper\zookeeper-3.7.0\dataDir

dataLogDir=E:\zookeeper\zookeeper-3.7.0\dataLogDir

新增好之后，点击“ESC”，输入“:wq”，点击enter键，保存成功，可用cat zoo.cfg命令查看文件是否修改成功

⑤添加环境变量-系统变量：ZOOKEEPER_HOME: E:\zookeeper\zookeeper-3.7.0

Path：在现有的值后面添加 %ZOOKEEPER_HOME%\bin


⑥运行Zookeeper: 打开cmd然后执行zkserver 命令。如果打印以下信息则表示zookeeper已经安装成功并运行在2181端口

2、安装kafka

①下载kafka地址：http://kafka.apache.org/downloads.html

②解压文件

本文：解压到 E:\kafka\kafka_2.13-2.8.0

③进入E:\kafka\kafka_2.13-2.8.0\config文件内，修改文件server.properties

执行vim server.properties命令之后进入server.properties文件内，输入英文“i”，文件处于可编辑状态，新增以下代码

log.dirs=E:\kafka\kafka_2.13-2.8.0\logs

新增好之后，点击“ESC”，输入“:wq”，点击enter键，保存成功，可用cat server.properties命令查看文件是否修改成功

④打开命令提示窗口（win+R，输入cmd，进入），进入E:\kafka\kafka_2.13-2.8.0文件内

>E:
 
>cd kafka\kafka_2.13-2.8.0

输入并执行以下命令打开kafka：

.\bin\windows\kafka-server-start.bat .\config\server.properties

显示的信息如下，则表示正常运行

3、创建topics

①打开命令提示窗口，进入E:\kafka\kafka_2.13-2.8.0\bin\windows文件内，创建topics

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

②查看topics，这里只是查看一下是否创建成功，也可以不用查看topic，直接跳过不做此操作

kafka-topics.bat --describe --zookeeper localhost:2181 --topic test

4、打开一个producer

打开命令提示窗口，进入E:\kafka\kafka_2.13-2.8.0\bin\windows文件内，打开一个producer

kafka-console-producer.bat --broker-list localhost:9092 --topic test

5、打开一个consumer

打开命令提示窗口，进入E:\kafka\kafka_2.13-2.8.0\bin\windows文件内，打开一个consumer

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

注意：以上打开的窗口不要关闭，然后就可以在producer控制台窗口输入消息并回车。在消息输入过后，很快consumer窗口就会显示出producer发送的消息。

6、收不到消息，常见情况

①在consumer没有打开之前，就在producer里面发送了消息

②producer和consumer使用的topic不一致

windowskafkaxff0cxffxff0zookeeper分布式

有关windows环境下搭建kafka的更多相关文章

  1. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

    我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep，它会中断应用程序。否则，计算机将持续运行数周，直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗？欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数，使应用程序能够通知系统它正在使用中，从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

  2. ruby - 在 Windows 机器上使用 Ruby 进行开发是否会适得其反？ - 2

    这似乎非常适得其反，因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby​​-mysqlgem问题(gem本身发生段错误，一个名为UnixSocket的类显然在Windows机器上不能正常工作，等等)。我只是在浪费时间吗？我应该转向不同的脚本语言吗？ 最佳答案 我在Windows上使用Ruby的经验很少，但是当我开始使用Ruby时，我是在Windows上，我的总体印象是它不是Windows原生系统。因此，在主要使用Windows多年之后，开始使用Ruby促使我切换回原来的系统Unix，这次是Linux。Rub

  3. ruby-on-rails - 在 Rails 开发环境中为 .ogv 文件设置 Mime 类型 - 2

    我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器，但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型，并且只返回text/plain，如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain

  4. Vscode+Cmake配置并运行opencv环境(Windows和Ubuntu大同小异) - 2

    之前在培训新生的时候，windows环境下配置opencv环境一直教的都是网上主流的vsstudio配置属性表，但是这个似乎对新生来说难度略高(虽然个人觉得完全是他们自己的问题)，加之暑假之后对cmake实在是爱不释手，且这样配置确实十分简单(其实都不需要配置)，故斗胆妄言vscode下配置CV之法。其实极为简单，图比较多所以很长。如果你看此文还配不好，你应该思考一下是不是自己的问题。闲话少说，直接开始。0.CMkae简介有的人到大二了都不知道cmake是什么，我不说是谁。CMake是一个开源免费并且跨平台的构建工具，可以用简单的语句来描述所有平台的编译过程。它能够根据当前所在平台输出对应的m

  5. 深度学习部署：Windows安装pycocotools报错解决方法 - 2

    深度学习部署：Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯：公主号AiCharm本系列是作者在跑一些深度学习实例时，遇到的各种各样的问题及解决办法，希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal

  6. ruby-on-rails - ruby gem如何在rails环境下工作 - 2

    我试图在rails中了解rubygems是如何变得可以自动使用的，而不是在使用required的文件中gem？ 最佳答案 这是通过bundler/setup完成的:http://bundler.io/v1.3/bundler_setup.html.它在您的config/boot.rb文件中是必需的。简而言之，它首先将环境变量设置为指向您的Gemfile:ENV['BUNDLE_GEMFILE']||=File.expand_path('../../Gemfile',__FILE__)然后它通过要求bundler/setup将所有ge

  7. ruby - 如何在 Ruby 中执行 Windows CLI 命令？ - 2

    我在目录“C:\DocumentsandSettings\test.exe”中有一个文件，但是当我用单引号编写命令时`C:\DocumentsandSettings\test.exe(我无法在此框中显示)，用于在Ruby中执行命令，我无法这样做，我收到的错误是找不到文件或目录。我尝试用“//”和“\”替换“\”，但似乎没有任何效果。我也使用过系统、IO.popen和exec命令，但所有的努力都是徒劳的。exec命令还使程序退出，这是我不想发生的。提前致谢。 最佳答案 反引号环境就像双引号，所以反斜杠用于转义。此外，Ruby会将空格解

  8. ruby-on-rails - 我需要一个真正的 UNIX RoR 开发环境 - 2

    从一开始，我就是一个Windows高手。我从MS-DOS开始。我安装了Windows2.1以及此后的所有Windows。现在，我家里有10台不同的Windows机器在运行，从Windows7Ultimate到各种版本的WindowsServer。我还没有完成Windows8，也不想去那里。我在服务器和各种软件方面都有UNIX经验，但它并不是我的首选环境。但是，我想我正在转换。我试图假装使用Cygwin和MSYS在Windows下运行UNIX。我的目的是搭建一个开发环境。两者都让我失望了。我花了比开发更多的时间来解决一系列技术问题。这是NotAcceptable。到目前为止，我的Ruby

  9. ruby-on-rails - 如果特定语言环境中缺少翻译，如何配置 i18n 以使用 en 语言环境？ - 2

    如果特定语言环境中缺少翻译，如何配置i18n以使用en语言环境翻译？当前已插入翻译缺失消息。我正在使用RoR3.1。 最佳答案 找到相似的question这里是答案:#application.rb#railswillfallbacktoconfig.i18n.default_localetranslationconfig.i18n.fallbacks=true#railswillfallbacktoen,nomatterwhatissetasconfig.i18n.default_localeconfig.i18n.fallback

  10. ruby-on-rails - 可移植 Ruby on Rails 环境 - 2

    我给自己买了一个新的8gigUSBkey，我正在寻找一个合适的解决方案来拥有一个可移植RoR环境来学习。我在谷歌上搜索了一下，发现了一些可能性，但我很想听听一些现实生活中的经历和意见。谢谢! 最佳答案 我喜欢InstantRails，非常容易使用，无需安装程序，也不会修改您的系统环境。 关于ruby-on-rails-可移植RubyonRails环境，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/q

随机推荐