草庐IT

Strimzi从入门到精通系列之二:部署Kafka

Strimzi从入门到精通系列之二:部署Kafka一、认识Strimzi二、Strimzi的核心知识点三、Kafka集群、TopicOperator、UserOperator四、部署Kafka集群五、使用ClusterOperator部署TopicOperator六、使用ClusterOperator部署UserOperator一、认识StrimziStrimzi是一款用于在Kubernetes集群上管理ApacheKafka的开源项目。它使得在Kubernetes上部署、管理和监控Kafka成为可能,提供了一种高度可扩展和可靠的解决方案。Strimzi支持自动缩放、配置灵活、内置监控和告警等

Strimzi Kafka Bridge(桥接)实战之三:自制sdk(golang版本)

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos本篇概览本文是《StrimziKafkaBridge(桥接)实战》的第三篇,前文咱们掌握了StrimziKafkaBridge的基本功能:基于http提供各种kafka消息的服务此刻,如果想通过http接口调用bridge的服务,势必要写不少代码(请求数据的生成、响应数据的解析),好在Strimzi已经提供了标准OpenApi的配置文件,咱们可以根据这个配置文件生成与http接口相关的代码,省去不少工作为什么是golang版本熟悉欣宸的读者都知道欣宸是个

Strimzi从入门到精通系列之三:部署Kafka Connect

Strimzi从入门到精通系列之三:部署KafkaConnect一、概述二、将KafkaConnect部署到Kubernetes集群三、KafkaConnect配置四、为多个实例配置KafkaConnect五、添加连接器六、自动使用连接器插件构建新的容器映像七、使用KafkaConnect基础镜像中的连接器插件构建新的容器镜像八、部署KafkaConnector资源九、手动重新启动连接器十、手动重启Kafka连接器任务十一、公开KafkaConnectAPI十二、禁止覆盖配置一、概述KafkaConnect是一个用于在ApacheKafka和其他系统之间传输数据的工具。例如,KafkaConn

Strimzi Kafka Bridge(桥接)实战之二:生产和发送消息

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos本篇概览本文是《StrimziKafkaBridge(桥接)实战之》系列的第二篇,咱们直奔bridge的重点:常用接口,用实际操作体验如何用bridge完成常用的消息收发业务官方的openapi接口文档地址:https://strimzi.io/docs/bridge/in-development/#_openapi整篇文章由以下内容构成:准备工作:创建topic生产消息消费消息,strimzibridge消费消息的逻辑略有些特殊,就是要提前创建stri

Strimzi Kafka Bridge(桥接)实战之一:简介和部署

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos关于《StrimziKafkaBridge(桥接)实战》在strimzi技术体系中,桥接(bridge)是很要的功能,内容也很丰富,因此将桥接相关的内容从《strimzi实战》系列中独立出来,成立桥接相关的系列文章,便于分类和专项深入本篇概览本文是《StrimziKafkaBridge(桥接)实战》系列的第一篇,按照惯例,先做好介绍和部署工作,以便后续深入学习什么是桥接?来看官方说明,如下图,最上面的Brokers就是核心的kafka服务,底部的Clie

strimzi实战之一:简介和准备

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos关于strimzistrimzi是一个开源项目,已加入了CNCF,官网地址:https://strimzi.io/借助strimzi,既能快速部署kafka服务,又能对kafka服务进行细致的调节,还能扩展出更多的能力,典型的扩展能力如下:监控(基于prometheus+grafana)安全(基于TLS)用户管理topic管理机架感知Restful接口消息镜像消息来源消息去向官方给出的组件架构图如下,可见比起单纯的kafka,strimzi的功能更加丰富

strimzi实战之三:prometheus+grafana监控(按官方文档搞不定监控?不妨看看本文,已经踩过坑了)

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos本篇概览由于整个系列的实战都涉及到消息生产和消费,所以咱们需要一套监控服务,用于观察各种操作的效果,例如生产消息是否成功、消息是否被消费、有没有发生堆积等因此,在前文完成了最基本的部署和体验后,今天就一起来把监控服务部署好,为后续的实战提供良好的后勤支撑今天的实战,假设CentOS操作系统、kubernetes环境、pv这三样都已提前装好,我们要做的是:通过strimzi部署一套kafka服务,并且带有prometheus和grafana来监控这个kaf