草庐IT

K8S环境快速部署Kafka(K8S外部可访问)

程序员欣宸 2023-03-28 原文

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

如何快速部署

  1. 借助Helm，只需少量操作即可部署kafka；
  2. kafka和zookeeper对存储都有需求，若提前准备了StorageClass，存储一事则变得十分简单

环境信息

  • 本次实战的操作系统和软件的版本信息如下：
  1. Kubernetes：1.15
  2. Kubernetes宿主机：CentOS Linux release 7.7.1908
  3. NFS服务：IP地址 192.168.50.135 ，文件夹 /volume1/nfs-storageclass-test
  4. Helm：2.16.1
  5. Kafka：2.0.1
  6. Zookeeper：3.5.5
  • 接下来的实战之前，请您准备好：K8S、Helm、NFS、StorageClass；

操作

  • 添加helm仓库(该仓库中有kafka)： helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator
  • 下载kafka的chart： helm fetch incubator/kafka
  • 下载成功后当前目录有个压缩包： kafka-0.20.8.tgz ，解压： tar -zxvf kafka-0.20.8.tgz
  1. 进入解压后的kafka目录，编辑 values.yaml 文件，下面是具体的修改点：
  • 首先要设置在K8S之外的也能使用kafka服务，修改 external.enabled 的值，改为 true ：
  • 找到 configurationOverrides ，下图两个黄框中的内容原本是注释的，请删除注释符号，另外，如果您之前设置过跨网络访问kafka，就能理解下面写入K8S宿主机IP的原因了：
  • 接下来设置数据卷，找到 persistence ，按需要调整大小，再设置已准备好的 storageclass 的名称：
  • 再设置zookeeper的数据卷：
  • 设置完成，开始部署，先创建namespace，执行： kubectl create namespace kafka-test
  • 在kafka目录下执行： helm install --name-template kafka -f values.yaml . --namespace kafka-test
  • 如果前面的配置没有问题，控制台提示如下所示：
  • kafka启动依赖zookeeper，整个启动会耗时数分钟，期间可见zookeeper和kafka的pod逐渐启动：
  • 查看服务：kubectl get services -n kafka-test，如下图红框所示，通过 宿主机IP:31090、宿主机IP:31091、宿主机IP:31092 即可从外部访问kafka：
  • 查看kafka版本： kubectl exec kafka-0 -n kafka-test -- sh -c 'ls /usr/share/java/kafka/kafka_*.jar' ，如下图红框所示，scala版本 2.11 ，kafka版本 2.0.1 ：
  • kafka启动成功后，咱们来验证服务是否正常；

对外暴露zookeeper

  • 为了远程操作kafka，有时需要连接到zookeeper，所以需要将zookeeper也暴露出来；
  • 创建文件 zookeeper-nodeport-svc.yaml ，内容如下：
apiVersion: v1 kind: Service metadata: name: zookeeper-nodeport namespace: kafka-test spec: type: NodePort ports: - port: 2181 nodePort: 32181 selector: app: zookeeper release: kafka
  • 执行命令： kubectl apply -f zookeeper-nodeport-svc.yaml
  • 查看服务，发现已经可以通过 宿主机IP:32181 访问zookeeper了，如下图：

验证kafka服务

  • 找一台电脑安装kafka包，就能通过里面自带的命令远程连接和操作K8S的kafka了：

  • 访问kafka官网： http://kafka.apache.org/downloads ，刚才确定了scala版本 2.11 ，kafka版本 2.0.1 ，因此下载下图红框中的版本：

  • 下载后解压，进入目录 kafka_2.11-2.0.1/bin

  • 查看当前topic：

./kafka-topics.sh --list --zookeeper 192.168.50.135:32181
  • 如下图，空空如也：
  • 创建topic：
./kafka-topics.sh --create --zookeeper 192.168.50.135:32181 --replication-factor 1 --partitions 1 --topic test001 如下图，创建成功后再查看topic终于有内容了：

  • 查看名为test001的topic：
./kafka-topics.sh --describe --zookeeper 192.168.50.135:32181 --topic test001

  • 进入创建消息的交互模式：
./kafka-console-producer.sh --broker-list 192.168.50.135:31090 --topic test001 进入交互模式后，输入任何字符串再输入回车，就会将当前内容作为一条消息发送出去：

  • 再打开一个窗口，执行命令消费消息：
./kafka-console-consumer.sh --bootstrap-server 192.168.50.135:31090 --topic test001 --from-beginning

  • 再打开一个窗口，执行命令查看消费者group：
./kafka-consumer-groups.sh --bootstrap-server 192.168.50.135:31090 --list 如下图可见groupid等于 console-consumer-21022

  • 执行命令查看groupid等于console-consumer-21022的消费情况：
./kafka-consumer-groups.sh --group console-consumer-21022 --describe --bootstrap-server 192.168.50.135:31090
  • 如下图所示：
  • 远程连接kafka体验基本功能完毕，查看、收发消息都正常，证明本次部署成功；

kafkacat连接

  • afkacat是个客户端工具，我这里是在MacBook Pro上用brew安装的；
  • 我这里K8S服务器IP是 192.168.50.135 ，因此执行此命令查看kafka信息： kafkacat -b 192.168.50.135:31090 -L ，如下图，可以看到broker信息，以及topic信息(一个是test001，还有一个是consumer的offset)，把端口换成 31091 和 31092 会连接到另外两个broker，也能得到相同信息：

清理资源

  • 本次实战创建了很多资源：rbac、role、serviceaccount、pod、deployment、service，下面的脚本可以将这些资源清理掉(只剩NFS的文件没有被清理掉)：
helm del --purge kafka kubectl delete service zookeeper-nodeport -n kafka-test kubectl delete storageclass managed-nfs-storage kubectl delete deployment nfs-client-provisioner -n kafka-test kubectl delete clusterrolebinding run-nfs-client-provisioner kubectl delete serviceaccount nfs-client-provisioner -n kafka-test kubectl delete role leader-locking-nfs-client-provisioner -n kafka-test kubectl delete rolebinding leader-locking-nfs-client-provisioner -n kafka-test kubectl delete clusterrole nfs-client-provisioner-runner kubectl delete namespace kafka-test
  • 至此，K8S环境部署和验证kafka的实战就完成了，希望能给您提供一些参考；

欢迎关注51CTO博客：程序员欣宸

学习路上，你不孤单，欣宸原创一路相伴...

K8SKafkastrongkafkalizookeeperkubernetesk8s云平台云计算yyds干货盘点

有关K8S环境快速部署Kafka(K8S外部可访问)的更多相关文章

  1. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  2. ruby-on-rails - 在混合/模块中覆盖模型的属性访问器 - 2

    我有一个包含模块的模型。我想在模块中覆盖模型的访问器方法。例如:classBlah这显然行不通。有什么想法可以实现吗？ 最佳答案 您的代码看起来是正确的。我们正在毫无困难地使用这个确切的模式。如果我没记错的话，Rails使用#method_missing作为属性setter，因此您的模块将优先，阻止ActiveRecord的setter。如果您正在使用ActiveSupport::Concern(参见thisblogpost)，那么您的实例方法需要进入一个特殊的模块:classBlah

  3. ruby - 续集在添加关联时访问many_to_many连接表 - 2

    我正在使用Sequel构建一个愿望list系统。我有一个wishlists和itemstable和一个items_wishlists连接表(该名称是续集选择的名称)。items_wishlists表还有一个用于facebookid的额外列(因此我可以存储opengraph操作)，这是一个NOTNULL列。我还有Wishlist和Item具有续集many_to_many关联的模型已建立。Wishlist类也有:selectmany_to_many关联的选项设置为select:[:items.*,:items_wishlists__facebook_action_id].有没有一种方法可以

  4. ruby-on-rails - 每次我尝试部署时，我都会得到 - (gcloud.preview.app.deploy) 错误响应 : [4] DEADLINE_EXCEEDED - 2

    我是Google云的新手，我正在尝试对其进行首次部署。我的第一个部署是RubyonRails项目。我基本上是在关注thisguideinthegoogleclouddocumentation.唯一的区别是我使用的是我自己的项目，而不是他们提供的“helloworld”项目。这是我的app.yaml文件runtime:customvm:trueentrypoint:bundleexecrackup-p8080-Eproductionconfig.ruresources:cpu:0.5memory_gb:1.3disk_size_gb:10当我转到我的项目目录并运行gcloudprevie

  5. ruby-on-rails - 在 Rails 开发环境中为 .ogv 文件设置 Mime 类型 - 2

    我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器，但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型，并且只返回text/plain，如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain

  6. ruby-on-rails - Ruby on Rails 可以部署在 Azure 网站上吗？ - 2

    我可以在Azure网站上部署RubyonRails吗？ 最佳答案 还没有。目前仅支持.NET和PHP。 关于ruby-on-rails-RubyonRails可以部署在Azure网站上吗？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/12964010/

  7. Vscode+Cmake配置并运行opencv环境(Windows和Ubuntu大同小异) - 2

    之前在培训新生的时候，windows环境下配置opencv环境一直教的都是网上主流的vsstudio配置属性表，但是这个似乎对新生来说难度略高(虽然个人觉得完全是他们自己的问题)，加之暑假之后对cmake实在是爱不释手，且这样配置确实十分简单(其实都不需要配置)，故斗胆妄言vscode下配置CV之法。其实极为简单，图比较多所以很长。如果你看此文还配不好，你应该思考一下是不是自己的问题。闲话少说，直接开始。0.CMkae简介有的人到大二了都不知道cmake是什么，我不说是谁。CMake是一个开源免费并且跨平台的构建工具，可以用简单的语句来描述所有平台的编译过程。它能够根据当前所在平台输出对应的m

  8. jenkins部署1--jenkins+gitee持续集成 - 2

    前置步骤我们都操作完了，这篇开始介绍jenkins的集成。话不多说，看操作1、登录进入jenkins后会让你选择安装插件，选择第一个默认的就行。安装完成后设置账号密码，重新登录。2、配置JDK和Git都需要执行路径，所以需要先把执行路径找到，先进入服务器的docker容器，2.1JDK的路径root@69eef9ee86cf:/usr/bin#echo$JAVA_HOME/usr/local/openjdk-82.2Git的路径root@69eef9ee86cf:/#whichgit/usr/bin/git3、先配置JDK和Git。点击：ManageJenkins>>GlobalToolCon

  9. 深度学习部署：Windows安装pycocotools报错解决方法 - 2

    深度学习部署：Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯：公主号AiCharm本系列是作者在跑一些深度学习实例时，遇到的各种各样的问题及解决办法，希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal

  10. ruby-on-rails - ruby gem如何在rails环境下工作 - 2

    我试图在rails中了解rubygems是如何变得可以自动使用的，而不是在使用required的文件中gem？ 最佳答案 这是通过bundler/setup完成的:http://bundler.io/v1.3/bundler_setup.html.它在您的config/boot.rb文件中是必需的。简而言之，它首先将环境变量设置为指向您的Gemfile:ENV['BUNDLE_GEMFILE']||=File.expand_path('../../Gemfile',__FILE__)然后它通过要求bundler/setup将所有ge

随机推荐