面试就是这么简单，offer拿到手软（一）——常见非技术问题回答思路面试就是这么简单，offer拿到手软（二）——常见65道非技术面试问题面试就是这么简单，offer拿到手软（三）——常见中间件框架面试题，es，redis，dubbo，zookeeperkafka等面试就是这么简单，offer拿到手软（四）——常见java152道基础面试题文章目录一、消息队列1.1常见消息队列优缺点1.2如何保证消息队列高可用？1.2.1使用kafka使用集群模式1.2.2确保不重复消费1.2.3确保消息可靠性传输1.2.4如何保证保证消息顺序性1.2.5如何设计消息中间件二、分布式搜索引擎2.1.es分布式
新建Topic./kafka-topics--zookeeper166.188.xx.xx--create--topicflink_source--partitions1--replication-factor1replication-factor：指定副本数量partitions：指定分区删除Topic./kafka-topics--zookeeper166.188.xx.xx--delete--topicflink_source查看所有Topic./kafka-topics--zookeeper166.188.xx.xx--list查看指定Topic详情./kafka-topics--zo
1.环境准备docker拉取zookeeper镜像dockerpullzookeeper:3.4.14创建zookeeper容器，默认端口号为2181dockerrun-d--namezookeeper-p2181:2181zookeeper:3.4.14拉取kafka镜像dockerpullwurstmeister/kafka:2.12-2.3.1创键kafka容器，默认端口号为9092dockerrun-d--namekafka\--envKAFKA_ADVERTISED_HOST_NAME=192.168.117.80\--envKAFKA_ZOOKEEPER_CONNECT=192.1
kafka与zookeeper安装包：链接：https://pan.baidu.com/s/1b4DkzQttIfkA6DilC5AsWg?pwd=i9s9 提取码：i9s9一、kafka依赖1：需要jdk（我这使用的是1.8）yum-yinstalljava-1.8.0-openjdk2：需要zookeeper1>解压：tar-zxvf 包名2>cd /usr/local/zookeeper/zookeeper-3.4.123> mkdirdata #创建数据存放位置4> mkdirlog #创建日志存放位置5>cd /usr/local/zookeeper/zookeeper-3.
Kafka的使用查看kafka的topic./kafka-topics--bootstrap-server10.1.9.84:9092--list查看topic信息./kafka-topics--bootstrap-server10.1.9.84:9092--describe--topictopic_example_1创建topic创建topic名为test，分区数为8，副本数为1./kafka-topics.sh--create--zookeeper10.128.106.52:2181--topictest--partitions8--replication-factor1修改topic./
文章目录1需求分析2实验过程2.1启动服务程序2.2启动kafka生产3JavaAPI开发3.1依赖3.2代码部分4实验验证STEP1STEP2STEP35时间窗口1需求分析在Javaapi中，使用flink本地模式，消费kafka主题，并直接将数据存入hdfs中。flink版本1.13kafka版本0.8hadoop版本3.1.42实验过程2.1启动服务程序为了完成Flink从Kafka消费数据并实时写入HDFS的需求，通常需要启动以下组件：[root@hadoop10~]#jps3073SecondaryNameNode2851DataNode2708NameNode12854Jps197
【Kafka-3.x-教程】专栏：【Kafka-3.x-教程】-【一】Kafka概述、Kafka快速入门【Kafka-3.x-教程】-【二】Kafka-生产者-Producer【Kafka-3.x-教程】-【三】Kafka-Broker、Kafka-Kraft【Kafka-3.x-教程】-【四】Kafka-消费者-Consumer【Kafka-3.x-教程】-【五】Kafka-监控-Eagle【Kafka-3.x-教程】-【六】Kafka外部系统集成【Flume、Flink、SpringBoot、Spark】【Kafka-3.x-教程】-【七】Kafka生产调优、Kafka压力测试【Kafka
在使用SpringBoot开发应用程序时，集成ApacheKafka作为消息队列是一种常见的做法。然而，有时候在配置和使用Kafka时可能会遇到一些问题。本文将探讨在SpringBoot应用程序中使用Kafka时可能遇到的"构建Kafka消费者失败"错误，并提供解决方案。错误描述：当尝试构建Kafka消费者时，可能会遇到以下错误消息：“Failedtoconstructkafkaconsumer.”错误分析：这个错误通常表明在构建Kafka消费者时出现了问题。可能是由于配置错误、依赖缺失或者Kafka服务器连接问题导致的。解决方案：以下是一些可能的解决方案，您可以逐一尝试以解决此问题：检查Ka
文章目录一、背景二、需求三、调研四、配置内外网访问一、背景kafka机器只有内网IP，没有绑定外网网卡，但是可以在防火墙或通过其他有公网IP的设备上进行公网IP+端口的映射。二、需求kafka集群端口映射后，可以通过外网IP+端口进行数据生产和消费。一帮情况下，只配置9092端口，即使映射到公网，外部也无法访问，因为kafka需要修改其他配置，开启外部访问端口。三、调研一般情况下，kafka的listeners参数配置为127.0.0.1或本地IP地址，只能本地访问，无法通过外部网络访问。且如果在防火墙上进行外网端口映射，就会出现如下报错：$./kafka-console-producer.s
目录消息存储相关的配置★消息的存储介绍★消息过期时间及处理方式演示：log.cleanup.policy属性配置★修改指定主题的消息保存时间演示：将test2主题下的消息的保存时间设为10个小时1、先查看test2主题下的配置2、然后设置消息的保存时间3、然后再查一遍test2的配置，看是否修改成功★查看指定主题的配置命令1：查看所有对象的信息命令2：查看特定主题的信息消息存储相关的配置★消息的存储介绍Kafka的消息主题与JMS、AMQP的消息队列是不同：JMS、AMQP消息队列中的消息只能被消费一次，当消息被消费时，这条消息就会被移出队列；但Kafka主题中的消息完全可以被多次重复消费，甚
