目录一、概述二、EFAK架构三、EFAK数据采集原理四、安装Kafka1)Kafka下载2)配置环境变量3)创建logs目录4)修改kafka配置5)修改zookeeper配置6)配置Zookeepermyid7)开启KafkaJMX监控8)将kafka目录推送到其它节点9)启动服务五、安装EFAK1)下载EFAK2)创建数据库2)设置环境变量3)配置4)调整启动参数6)修改works配置7)将EFAK推送其它节点8)启动六、简单使用1)KafkaCLI简单使用2)EFAK常用命令一、概述EFAK(EagleForApacheKafka,以前称为KafkaEagle)是一款由国内公司开源的Ka
目录一、概述二、EFAK架构三、EFAK数据采集原理四、安装Kafka1)Kafka下载2)配置环境变量3)创建logs目录4)修改kafka配置5)修改zookeeper配置6)配置Zookeepermyid7)开启KafkaJMX监控8)将kafka目录推送到其它节点9)启动服务五、安装EFAK1)下载EFAK2)创建数据库2)设置环境变量3)配置4)调整启动参数6)修改works配置7)将EFAK推送其它节点8)启动六、简单使用1)KafkaCLI简单使用2)EFAK常用命令一、概述EFAK(EagleForApacheKafka,以前称为KafkaEagle)是一款由国内公司开源的Ka
目录前言如何选择?开发语言延迟队列消息顺序性优先级队列消息留存消息过滤可伸缩行小结推荐阅读前言我们在工作中经常会用到异步消息,主要使用两种消息模式:消息队列发布/订阅消息队列:多个生产者可以向同一个消息队列发送消息,但是一个消息只能被一个消费者消费。发布/订阅:一个消息可以被多个订阅者并发的获取和处理。Kafka和RabbitMQ都能满足如上的特性,那么我们应该如何选择使用哪一个?这两个MQ有什么差异性?在什么样的场景下适合使用Kafka,什么场景下适合使用RabbitMQ?你是否有这样的疑惑?希望这篇文章能够帮助到你。如何选择?开发语言Kafka:Scala,支持自定义的协议。RabbitM
目录前言如何选择?开发语言延迟队列消息顺序性优先级队列消息留存消息过滤可伸缩行小结推荐阅读前言我们在工作中经常会用到异步消息,主要使用两种消息模式:消息队列发布/订阅消息队列:多个生产者可以向同一个消息队列发送消息,但是一个消息只能被一个消费者消费。发布/订阅:一个消息可以被多个订阅者并发的获取和处理。Kafka和RabbitMQ都能满足如上的特性,那么我们应该如何选择使用哪一个?这两个MQ有什么差异性?在什么样的场景下适合使用Kafka,什么场景下适合使用RabbitMQ?你是否有这样的疑惑?希望这篇文章能够帮助到你。如何选择?开发语言Kafka:Scala,支持自定义的协议。RabbitM
服务器端K3S上部署KafkaServerKafka安装?️Quote:charts/bitnami/kafkaatmaster·bitnami/charts(github.com)输入如下命令添加Helm仓库:>helmrepoaddtkemarkethttps://market-tke.tencentcloudcr.com/chartrepo/opensource-stable"tkemarket"hasbeenaddedtoyourrepositories>helmrepoaddbitnamihttps://charts.bitnami.com/bitnami"bitnami"hasbe
服务器端K3S上部署KafkaServerKafka安装?️Quote:charts/bitnami/kafkaatmaster·bitnami/charts(github.com)输入如下命令添加Helm仓库:>helmrepoaddtkemarkethttps://market-tke.tencentcloudcr.com/chartrepo/opensource-stable"tkemarket"hasbeenaddedtoyourrepositories>helmrepoaddbitnamihttps://charts.bitnami.com/bitnami"bitnami"hasbe
目录一、Kafka概述1)Kafka的特性2)应用场景二、Kafka架构简介写入流程三、Kakfa的设计思想四、Zookeeper在Kafka中的作用1)记录和维护broker状态2)控制器(leader)选举3)限额权限4)记录ISR(已同步的副本)5)node和topic注册6)topic配置五、Leader选举1)控制器(Broker)选举Leader机制2)分区副本选举Leader机制3)消费组(consumergroup)选举机制六、kubernetes(k8s)helm3安装zookeeper、kafka1)前期准备2)部署zookeeper集群3)部署kafka集群4)简单使用一
目录一、Kafka概述1)Kafka的特性2)应用场景二、Kafka架构简介写入流程三、Kakfa的设计思想四、Zookeeper在Kafka中的作用1)记录和维护broker状态2)控制器(leader)选举3)限额权限4)记录ISR(已同步的副本)5)node和topic注册6)topic配置五、Leader选举1)控制器(Broker)选举Leader机制2)分区副本选举Leader机制3)消费组(consumergroup)选举机制六、kubernetes(k8s)helm3安装zookeeper、kafka1)前期准备2)部署zookeeper集群3)部署kafka集群4)简单使用一
目录一、概述1)Elasticsearch存储2)Filebeat日志数据采集3)Kafka4)Logstash过滤5)Kibana展示filebeat和logstash的关系二、helm3安装ELK1)准备条件2)helm3安装elasticsearch1、自定义values2、开始安装Elasitcsearch3、验证4、清理3)helm3安装Kibana1、自定义values2、开始安装Kibana3、验证4、清理4)helm3安装Filebeat1、自定义values2、开始安装Filefeat3、验证4、清理5)helm3安装Logstash1、自定义values2、开始安装Logs
目录一、概述1)Elasticsearch存储2)Filebeat日志数据采集3)Kafka4)Logstash过滤5)Kibana展示filebeat和logstash的关系二、helm3安装ELK1)准备条件2)helm3安装elasticsearch1、自定义values2、开始安装Elasitcsearch3、验证4、清理3)helm3安装Kibana1、自定义values2、开始安装Kibana3、验证4、清理4)helm3安装Filebeat1、自定义values2、开始安装Filefeat3、验证4、清理5)helm3安装Logstash1、自定义values2、开始安装Logs