基础配置systemctlstopfirewalld&&systemctldisablefirewalldsetenforce0sed-i's/SELINUX=enforcing/SELINUX=disabled/'/etc/selinux/configvi/etc/hostsip1node1ip2node2ip3node3zookeeper介绍zookeeper是一个分布式的协调服务，主要用于维护集群的元数据信息和配置信息。kafka集群依赖其存储、管理自身元数据、配置。zookeeper在kafka中的作用1、管理broker节点：broker的上下线、topic信息、partition信
Kafka-Eagle简介在开发工作中，当业务不复杂时，可以使用Kafka命令来进行一些集群的管理工作。但如果业务变得复杂，例如：需要增加group、topic分区，此时，再使用命令行就感觉很不方便，此时，如果使用一个可视化的工具帮助我们完成日常的管理工作，将会大大提高对于Kafka集群管理的效率，而且还可以使用工具来监控消费者在Kafka中消费情况。KafkaEagle是一款结合了目前大数据Kafka监控工具的特点，重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等。官网：https://www
作者：禅与计算机程序设计艺术1.简介ApacheKafka是一个分布式、高吞吐量、高容错率的开源消息系统。它最初由LinkedIn公司开发并于2011年成为Apache基金会孵化项目，之后成为Apache顶级项目。Kafka可以处理消费数据实时性，支持快速数据传输、存储和集群扩展等功能。本文将详细介绍ApacheKafka的相关概念和基础知识。包括以下几个方面：ApacheKafka相关概念ApacheKafka基本概念ApacheKafka生产者APIApacheKafka消费者APIApacheKafka消息存储机制及日志目录结构ApacheKafka性能优化ApacheKafka安全机制
2022年10月份接到一个小功能，对接kafka将数据写到数据库，开始的需求就是无脑批量insert，随着时间的推移，业务需求有变更，kafka的生产消息频次越来越高，到今年7月份为止就每秒会有几十条甚至上百条，然后消费消息的代码就报错：Causedby:org.apache.kafka.clients.consumer.CommitFailedException:Offsetcommitcannotbecompletedsincetheconsumerisnotpartofanactivegroupforautopartitionassignment;itislikelythatthecon
Elasticsearch系列文章1、介绍lucene的功能以及建立索引、搜索单词、搜索词语和搜索句子四个示例实现2、Elasticsearch7.6.1基本介绍、2种部署方式及验证、head插件安装、分词器安装及验证3、Elasticsearch7.6.1信息搜索示例（索引操作、数据操作-添加、删除、导入等、数据搜索及分页）4、Elasticsearch7.6.1Javaapi操作ES（CRUD、两种分页方式、高亮显示）和ElasticsearchSQL详细示例5、Elasticsearch7.6.1filebeat介绍及收集kafka日志到es示例6、Elasticsearch7.6.1、
kafka命令行操作主要分为三大类：主题命令行操作、生产者命令行操作、消费者命令行操作。注意：命令行操作前提，启动kafka集群。1.主题命令行操作1.1查看主题命令行参数a)查询命令[root@hadoop102~]#/opt/module/kafka/bin/kafka-topics.shb）参数列表参数描述--bootstrap-server连接的KafkaBroker主机名称和端口号--topic操作的topic名称--create创建主题--delete删除主题--alter修改主题--list查看所有主题--describle查看主题详细描述--partitions设置分区数--r
Kafka1.概述1.1消息队列1.1.1传统消息队列的应用场景1.1.2消息队列的两种模式1.2kafka基础结构2.kafka的快速入门2.1集群部署2.1.1安装java2.1.2部署zookeeper集群2.1.3部署kafka集群2.2Kafka命令行操作2.2.1主题命令行操作2.2.2生产者命令行操作2.2.3消费者命令行操作3Kafka生产者3.1生产者消息发送流程3.1.1发送原理3.1.2生产者重要参数列表3.2异步发送API3.2.1普通异步发送3.2.2带回调函数的异步发送3.3同步发送API3.4生产者分区3.4.1分区好处3.4.2生产者发送消息的分区策略3.4.3
目录一、文件清理策略1.1、文件清理策略的概述1.2、文件清理策略的官方文档1.3、日志超过了设置的时间如何处理1.3.1、delete日志删除（将过期数据删除）1.3.2、compact日志压缩一、文件清理策略1.1、文件清理策略的概述Kafka中默认的日志保存时间为7天，可以通过调整如下参数修改保存时间。参数解释log.retention.hours小时，最低优先级（默认7天）log.retention.minutes分钟log.retention.ms毫秒，最高优先级log.retention.check.interval.ms负责设置检查周期（默认5分钟）1.2、文件清理策略的官方文档
作者：禅与计算机程序设计艺术1.简介ApacheKafka是由LinkedIn于2011年开源出来的一个分布式流处理平台。它最初被称为DistributedMessagingSystem（即分布式消息系统），是一个发布/订阅消息队列，支持按照Key-Value形式存储数据，具备水平扩展、容错、可靠性等特性。Kafka作为一种分布式系统，在其架构设计上具有独特的特征，包括高性能、高吞吐量、低延迟及易用性等优点，能够实现企业级的数据实时处理、事件采集、日志聚合、数据同步等需求。本文将从分布式消息系统的诞生到今天（2020年）四个月，基于Kafka的相关应用案例，以及对Kafka为什么如此火爆的分析
系列文章目录上手第一关，手把手教你安装kafka与可视化工具kafka-eagleKafka是什么，以及如何使用SpringBoot对接Kafka架构必备能力——kafka的选型对比及应用场景系列文章目录一、Kafka的模型与优势1.Kafka模型2.Kafka优势二、Kafka与竞争对手的区别1.与RabbitMQ相比2.与ActiveMQ相比3.与RocketMQ相比4.与Pulsar对比三、Kafka的典型应用场景1.常用场景2.案例分析总结在现代大数据架构中，消息队列是不可或缺的一部分。前面我们介绍了Kafka是一种高吞吐量，低延迟的分布式消息队列系统，因其可靠性、可扩展性和灵活性而备
