作者：禅与计算机程序设计艺术1.简介ApacheKafka是一个分布式、高吞吐量、高容错率的开源消息系统。它最初由LinkedIn公司开发并于2011年成为Apache基金会孵化项目，之后成为Apache顶级项目。Kafka可以处理消费数据实时性，支持快速数据传输、存储和集群扩展等功能。本文将详细介绍ApacheKafka的相关概念和基础知识。包括以下几个方面：ApacheKafka相关概念ApacheKafka基本概念ApacheKafka生产者APIApacheKafka消费者APIApacheKafka消息存储机制及日志目录结构ApacheKafka性能优化ApacheKafka安全机制
2022年10月份接到一个小功能，对接kafka将数据写到数据库，开始的需求就是无脑批量insert，随着时间的推移，业务需求有变更，kafka的生产消息频次越来越高，到今年7月份为止就每秒会有几十条甚至上百条，然后消费消息的代码就报错：Causedby:org.apache.kafka.clients.consumer.CommitFailedException:Offsetcommitcannotbecompletedsincetheconsumerisnotpartofanactivegroupforautopartitionassignment;itislikelythatthecon
Elasticsearch系列文章1、介绍lucene的功能以及建立索引、搜索单词、搜索词语和搜索句子四个示例实现2、Elasticsearch7.6.1基本介绍、2种部署方式及验证、head插件安装、分词器安装及验证3、Elasticsearch7.6.1信息搜索示例（索引操作、数据操作-添加、删除、导入等、数据搜索及分页）4、Elasticsearch7.6.1Javaapi操作ES（CRUD、两种分页方式、高亮显示）和ElasticsearchSQL详细示例5、Elasticsearch7.6.1filebeat介绍及收集kafka日志到es示例6、Elasticsearch7.6.1、
kafka命令行操作主要分为三大类：主题命令行操作、生产者命令行操作、消费者命令行操作。注意：命令行操作前提，启动kafka集群。1.主题命令行操作1.1查看主题命令行参数a)查询命令[root@hadoop102~]#/opt/module/kafka/bin/kafka-topics.shb）参数列表参数描述--bootstrap-server连接的KafkaBroker主机名称和端口号--topic操作的topic名称--create创建主题--delete删除主题--alter修改主题--list查看所有主题--describle查看主题详细描述--partitions设置分区数--r
Kafka1.概述1.1消息队列1.1.1传统消息队列的应用场景1.1.2消息队列的两种模式1.2kafka基础结构2.kafka的快速入门2.1集群部署2.1.1安装java2.1.2部署zookeeper集群2.1.3部署kafka集群2.2Kafka命令行操作2.2.1主题命令行操作2.2.2生产者命令行操作2.2.3消费者命令行操作3Kafka生产者3.1生产者消息发送流程3.1.1发送原理3.1.2生产者重要参数列表3.2异步发送API3.2.1普通异步发送3.2.2带回调函数的异步发送3.3同步发送API3.4生产者分区3.4.1分区好处3.4.2生产者发送消息的分区策略3.4.3
目录一、文件清理策略1.1、文件清理策略的概述1.2、文件清理策略的官方文档1.3、日志超过了设置的时间如何处理1.3.1、delete日志删除（将过期数据删除）1.3.2、compact日志压缩一、文件清理策略1.1、文件清理策略的概述Kafka中默认的日志保存时间为7天，可以通过调整如下参数修改保存时间。参数解释log.retention.hours小时，最低优先级（默认7天）log.retention.minutes分钟log.retention.ms毫秒，最高优先级log.retention.check.interval.ms负责设置检查周期（默认5分钟）1.2、文件清理策略的官方文档
作者：禅与计算机程序设计艺术1.简介ApacheKafka是由LinkedIn于2011年开源出来的一个分布式流处理平台。它最初被称为DistributedMessagingSystem（即分布式消息系统），是一个发布/订阅消息队列，支持按照Key-Value形式存储数据，具备水平扩展、容错、可靠性等特性。Kafka作为一种分布式系统，在其架构设计上具有独特的特征，包括高性能、高吞吐量、低延迟及易用性等优点，能够实现企业级的数据实时处理、事件采集、日志聚合、数据同步等需求。本文将从分布式消息系统的诞生到今天（2020年）四个月，基于Kafka的相关应用案例，以及对Kafka为什么如此火爆的分析
系列文章目录上手第一关，手把手教你安装kafka与可视化工具kafka-eagleKafka是什么，以及如何使用SpringBoot对接Kafka架构必备能力——kafka的选型对比及应用场景系列文章目录一、Kafka的模型与优势1.Kafka模型2.Kafka优势二、Kafka与竞争对手的区别1.与RabbitMQ相比2.与ActiveMQ相比3.与RocketMQ相比4.与Pulsar对比三、Kafka的典型应用场景1.常用场景2.案例分析总结在现代大数据架构中，消息队列是不可或缺的一部分。前面我们介绍了Kafka是一种高吞吐量，低延迟的分布式消息队列系统，因其可靠性、可扩展性和灵活性而备
前言本节内容我们主要介绍一下flume数据采集和kafka消息中间键的整合。通过flume监听nc端口的数据，将数据发送到kafka消息的first主题中，然后在通过flume消费kafka中的主题消息，将消费到的消息打印到控制台上。集成使用flume作为kafka的生产者和消费者。关于nc工具、flume以及kafka的安装部署，这里不在赘述，请读者查看作者往期博客内容。整体架构如下：正文启动Kafka集群，创建first主题-启动Kafka集群-创建first主题kafka-topics.sh--bootstrap-serverhadoop101:9092--create--topicfi
作者：禅与计算机程序设计艺术1.简介推荐系统（RecommendationSystem）一直都是互联网领域一个非常火热的话题。其主要目标是在用户多样化的信息环境中，通过分析用户的偏好、消费习惯等数据，提供个性化的信息推送、商品推荐、购物指导等服务。如何设计一个推荐系统的架构及其高可用、可扩展性是推荐系统从诞生到现在面临的一系列问题之一。本文将结合实际工程经验，对推荐系统的架构进行设计，从而实现实时的服务。1.1为什么需要实时推荐系统？推荐系统是一个高度实时和复杂的应用场景。随着互联网业务的不断发展，传统的基于离线的推荐系统已经不能满足互联网产品的快速响应速度要求，越来越多的公司希望能够在很短的
