Kafka集群版本：V3.5.1名称Node1Node2Node3IP172.29.145.157172.29.145.182172.29.145.183（1）查看Kraft集群中的状态以及Leader节点，投票节点使用--status可以查看集群选举次数/水位线以及投票节点等使用--replication可以查看Ledaer和Follower分布使用kafka-metadata-quorum.sh./kafka-metadata-quorum.sh--bootstrap-server172.29.145.157:9092,172.29.145.182:9092,172.29.145.183:
Kafka1.Kafka概述1.1定义1.2消息队列1.2.1传统消息队列的应用场景1.2.2消息队列的两种模式1.3kafka基础架构1.4为什么kafka性能非常高2.快速入门2.1kafka环境安装2.2kafka命令行操作参数2.2.1主题命令行操作2.2.2生产者命令行操作2.2.3消费者命令行操作3.Kafka生产者3.1生产者消息发送流程3.1.1发送原理3.2异步发送API3.2.1普通异步发送3.2.2带回调函数的异步发送3.4生产者分区3.4.1分区好处3.4.2生产者发送消息的分区策略3.4.3自定义分区器3.4.4Kafka如何保证消息顺序一致性问题3.4.5解决消息顺
目录一、自动提交offset的相关参数二、消费者（自动提交offset）代码示例一、自动提交offset的相关参数官网文档参数解释参数描述enable.auto.commi默认值为true，消费者会自动周期性地向服务器提交偏移量。auto.commit.interval.ms如果设置了enable.auto.commit的值为true，则该值定义了消费者偏移量向Kafka提交的频率，默认5s。图解分析二、消费者（自动提交offset）代码示例消费者自动提交offset代码//自动提交properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,
题目2：EXTERNAL关键字的作用？[多选]A、EXTERNAL关键字可以让用户创建一个外部表B、创建外部表时，可以不加EXTERNAL关键字C、通过EXTERNAL创建的外部表只删除元数据，不删除数据D、不加EXTERNAL的时候，默认创建内部表也叫管理表【参考答案】:ACD【您的答案】:ABCexternal关键字可以让用户创建一个外部表，在建表的同时可以指定一个指向实际数据的路径（location），在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。默认创建的表都是所谓的管理表，有时也被称为内部表。因为这种表，Hive会（或多或少地）控制着数据的生命周
作者：禅与计算机程序设计艺术1.简介Twitter是一个巨大的社交媒体网站，每天都有数以亿计的用户参与其中。许多企业利用其数据的价值已经成为众矢之的。比如，广告、营销、市场调研等方面都依赖于Twitter数据。StreamingLargeCollectionsofTwitterDatainReal-TimewithApacheKafkaandStorm由于Twitter在快速发展中，人们希望能够实时获取Twitter的数据。传统的基于日志的方式不再适用。我们需要更快捷的方法来处理海量数据并提取有用的信息。Kafka和Storm是当前最流行的开源分布式消息传递系统。它们可以帮助我们处理实时数据。
文章目录导图概述Kafka系统架构协议和网络模块数据存储元数据存储消息数据生产者和消费者生产者消费者HTTP协议支持和管控操作Kafka从生产到消费的全过程总结导图概述在学习的过程中，我们会发现Kafka和RocketMQ的架构是非常像的，那为什么还要单独来分析Kafka呢？因为它们俩面对的场景是不一样的，一个是消息场景、
目录创建执行环境1.getExecutionEnvironment2.createLocalEnvironment3.createRemoteEnvironment 执行模式(ExecutionMode)1.BATCH模式的配置方法2.什么时候选择BATCH模式触发程序执行数据源操作读取kafka数据源操作 自定义Source 创建执行环境 编写Flink程序的第一步，就是创建执行环境。我们要获取的执行环境，是StreamExecutionEnvironment类的对象，这是所有Flink程序的基础。在代码中创建执行环境的方式，就是调用这个类的静态方法，具体有以下三种。1.get
消息队列分类点对点组成：消息队列（Queue）、发送者（Sender）、接收者（Receiver）特点：一个生产者生产的消息只能被一个接受者接收，消息一旦被消费，消息就不在消息队列中了发布/订阅组成：消息队列（Queue）、发布者（Publisher）、订阅者（Subscriber）、主题（Topic）特点：每个消息可以有多个消费者，彼此互不影响，即发布到消息队列的消息能被多个接受者（订阅者）接收常见的消息系统ActiveMQ：历史悠久，支持性较好，性能相对不高RabbitMQ：可靠性高、安全Kafka：分布式、高性能、高吞吐量、跨语言RocketMQ：阿里开源的消息中间件，纯Java实现ka
基础配置systemctlstopfirewalld&&systemctldisablefirewalldsetenforce0sed-i's/SELINUX=enforcing/SELINUX=disabled/'/etc/selinux/configvi/etc/hostsip1node1ip2node2ip3node3zookeeper介绍zookeeper是一个分布式的协调服务，主要用于维护集群的元数据信息和配置信息。kafka集群依赖其存储、管理自身元数据、配置。zookeeper在kafka中的作用1、管理broker节点：broker的上下线、topic信息、partition信
Kafka-Eagle简介在开发工作中，当业务不复杂时，可以使用Kafka命令来进行一些集群的管理工作。但如果业务变得复杂，例如：需要增加group、topic分区，此时，再使用命令行就感觉很不方便，此时，如果使用一个可视化的工具帮助我们完成日常的管理工作，将会大大提高对于Kafka集群管理的效率，而且还可以使用工具来监控消费者在Kafka中消费情况。KafkaEagle是一款结合了目前大数据Kafka监控工具的特点，重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等。官网：https://www
