记录kafka配置前言一、生产者配置二、消费者配置前言记录kafka配置一、生产者配置bootstrap.servers：指定生产者客户端连接kafka集群所需的broker地址列表，格式为host1:port1,host2:port2，可以设置一个或多个。这里并非需要所有的broker地址，因为生产者会从给定的broker里寻找其它的broker。key.serializer和value.serializer：broker接收消息必须以字节数组byte[]形式存在，KafkaProducer和ProducerRecord中的泛型就是key和value的类型。key.serializer和va
记录kafka配置前言一、生产者配置二、消费者配置前言记录kafka配置一、生产者配置bootstrap.servers：指定生产者客户端连接kafka集群所需的broker地址列表，格式为host1:port1,host2:port2，可以设置一个或多个。这里并非需要所有的broker地址，因为生产者会从给定的broker里寻找其它的broker。key.serializer和value.serializer：broker接收消息必须以字节数组byte[]形式存在，KafkaProducer和ProducerRecord中的泛型就是key和value的类型。key.serializer和va
今天遇到一个问题，由于代码问题导致了很多kafka消息入到备用库，偏移量已经变成了最新；如何将偏移量重设到某个时间点，但消费群组重新去消费一次，是解决问题的关键，于是，使用了kafka/bin的sh程序，以下是解决问题的步骤：查看某个组的topic偏移量，这步只是查看，没什么配置作用，只是作到心中有数，时间戳可以使用在线工具去生成kafka-run-class.shkafka.tools.GetOffsetShell--broker-listlocalhost:9092-topicorder_new-time1659087120000直接修改原消费组的topic的偏移量kafka-consum
今天遇到一个问题，由于代码问题导致了很多kafka消息入到备用库，偏移量已经变成了最新；如何将偏移量重设到某个时间点，但消费群组重新去消费一次，是解决问题的关键，于是，使用了kafka/bin的sh程序，以下是解决问题的步骤：查看某个组的topic偏移量，这步只是查看，没什么配置作用，只是作到心中有数，时间戳可以使用在线工具去生成kafka-run-class.shkafka.tools.GetOffsetShell--broker-listlocalhost:9092-topicorder_new-time1659087120000直接修改原消费组的topic的偏移量kafka-consum
章节目录1.参考链接2.摘抄引用2.1Docker镜像选型2.2`wurstmeister/kafka`镜像简介的先决条件2.3简单使用3.安装过程3.1安装Docker（略）3.2安装DockerCompose（略）3.3从github拉取最新打包资源3.4更新`docker-compose.yml`中你docker主机ip3.5启动集群3.5.1当执行`docker-compose-fdocker-compose.ymlup-d`命令遇到错误3.5.2分析脚本执行过程3.5.3使用master分支的构建脚本启动`2.x.x`版本的kafka3.6开启单个节点4.KafkaShell5.测试
章节目录1.参考链接2.摘抄引用2.1Docker镜像选型2.2`wurstmeister/kafka`镜像简介的先决条件2.3简单使用3.安装过程3.1安装Docker（略）3.2安装DockerCompose（略）3.3从github拉取最新打包资源3.4更新`docker-compose.yml`中你docker主机ip3.5启动集群3.5.1当执行`docker-compose-fdocker-compose.ymlup-d`命令遇到错误3.5.2分析脚本执行过程3.5.3使用master分支的构建脚本启动`2.x.x`版本的kafka3.6开启单个节点4.KafkaShell5.测试
一、Kafka的消息传输保障一般而言，消息中间件的消息传输保障分为3个层级：atmostonce：至多一次。消息可能丢失，但绝不会重复消费atleastonce：最少一次。消息绝不丢失，但可能重复传输exactlyonce：恰好一次。每条消息肯定会被传输一次且仅传输一次。1.Kafka生产者消息保障一旦消息被成功提交到日志文件，多副本机制会保障消息不丢失对于网络问题，生产者也会通过重试机制来确保消息写入Kafka，但是重试过程中可能会导致消息的重复写入因此，Kafka生产者提供的消息保障为atleastonce2.Kafka消费者消息保障Kafka消费者消息保障主要取决于消费者处理消息和提交消
一、Kafka的消息传输保障一般而言，消息中间件的消息传输保障分为3个层级：atmostonce：至多一次。消息可能丢失，但绝不会重复消费atleastonce：最少一次。消息绝不丢失，但可能重复传输exactlyonce：恰好一次。每条消息肯定会被传输一次且仅传输一次。1.Kafka生产者消息保障一旦消息被成功提交到日志文件，多副本机制会保障消息不丢失对于网络问题，生产者也会通过重试机制来确保消息写入Kafka，但是重试过程中可能会导致消息的重复写入因此，Kafka生产者提供的消息保障为atleastonce2.Kafka消费者消息保障Kafka消费者消息保障主要取决于消费者处理消息和提交消
云服务器(Linux)安装部署Kafka前期准备kafka的安装需要依赖于jdk，需要在服务器上提前安装好该环境，这里使用用jdk1.8。下载安装包官网地址：较新的版本已自带Zookeeper，无需额外下载。这里使用3.2.0做演示。注意要下载Binarydownloads标签下的tgz包，Sourcedownload标签下的包为源码。无法直接运行，需要编译。上载安装包到云服务器使用ssh连接工具将kafka_2.12-3.2.0.tgz这个包上传到云服务器上的一个目录。打开命令行，进入到放有压缩包的目录，执行tar-zxvfkafka_2.12-3.2.0.tgz配置kafka然后使用cd命
云服务器(Linux)安装部署Kafka前期准备kafka的安装需要依赖于jdk，需要在服务器上提前安装好该环境，这里使用用jdk1.8。下载安装包官网地址：较新的版本已自带Zookeeper，无需额外下载。这里使用3.2.0做演示。注意要下载Binarydownloads标签下的tgz包，Sourcedownload标签下的包为源码。无法直接运行，需要编译。上载安装包到云服务器使用ssh连接工具将kafka_2.12-3.2.0.tgz这个包上传到云服务器上的一个目录。打开命令行，进入到放有压缩包的目录，执行tar-zxvfkafka_2.12-3.2.0.tgz配置kafka然后使用cd命
