kafka自动关闭退出问题：开启kafka一段时间后，jps发现kafka自动退出。一：zookeeper出现问题。解决方法：开启zk，来到zk路径下开启一个zkbin/zkServer.shstart.查看zk的状态bin/zkServer.shstatus发现zk并没有运行，这是正常现象，因为一台机器开启zk，没有达到集群的半数，不工作。接着在第二台机器上开启zk并查看zk状态bin/zkServer.shstartbin/zkServer.shstatus如果zk状态出现如下情况：Errorcontactingservice.Itisprobablynotrunning.证明zk出现了问

Kafka一、Kafka中的基本信息kafka中topic、broker、partition、及customer和producer等的对应关系Window安装配置kafka和zookeeper并将其加入服务的方式二、Kafka消费者的消费问题及线程问题kafka中不同topic使用同一个GroupId会出现的问题分析高效的消费一个Topickafka避免重复消费的思路kafka中Offset不更新的情况和处理思路kafka如何避免重复消费，offset不更新的情况三、消费时的数据库与线程池springboot中所有涉及到数据库操作的程序使用同一个线程池，如何避免数据库TooManyConnec

一、相关配置1、JAAS配置文件KafkaClient{com.sun.security.auth.module.Krb5LoginModulerequireduseKeyTab=truestoreKey=trueserviceName="kafka"keyTab="D:/code/demo/conf/kafka.service.keytab"principal="kafka/hdp-1";};2、keytab文件（kafka.service.keytab）从Kerberos服务器上拷贝到目标机器或找运维人员要一份3、Kerberos配置文件（krb5.conf）krb5文件参数说明：krb5

一、原因kafka作为消息队列，其中数据积压也是经常遇到的问题之一。我们都知道，数据积压的直接原因，一定是系统中的某个部分出现了性能问题，来不及处理上游发送的数据，才会导致数据积压。那么我们就需要分析在使用kafka时，如何通过优化代码以及参数配置来最大程度的避免数据积压来对业务中的影响。二、解决方案1.1、通过优化代码数据积压可能是我们在编写代码处理逻辑的时候，代码质量不高，处理速度慢导致消费数据的性能低，可以优化代码。1.2、优化kafka配置参数1.2.1、优化生产者producer的参数首先我们在上面分析得出，是由于上游生产者producer发送数据过快，以及下游消费者consumer

面试题来源：《大数据面试题V4.0》大数据面试题V3.0，523道题，679页，46w字可回答：Kafka如何保证生产者不丢失数据，消费者不丢失数据？参考答案：存在数据丢失的几种情况使用同步模式的时候，有3种状态保证消息被安全生产，在配置为1（只保证写入leader成功）的话，如果刚好leaderpartition挂了，数据就会丢失。还有一种情况可能会丢失消息，就是使用异步模式的时候，当缓冲区满了，如果配置为0（还没有收到确认的情况下，缓冲池一满，就清空缓冲池里的消息），数据就会被立即丢弃掉。避免方法的一些概述1、在数据生产时避免数据丢失的方法只要能避免上述两种情况，那么就可以保证消息不会被丢

Kafka需要在吞吐量和延迟之间取得平衡,可通过下面两个参数控制。batch.size当多个消息发送到相同分区时,生产者会将消息打包到一起,以减少请求交互.而不是一条条发送批次大小可通过batch.size参数设置。默认：16KB较小的批次大小有可能降低吞吐量。（设置为0则完全禁用批处理）非常大的批次大小可能会浪费内存。因为我们会预先分配这个资源。例子比如说发送消息的频率是每秒300条，那么如果将batch.size调节到32KB，或64KB，是否可以提升发送消息的整体吞吐量呢。因为理论上来说，提升batch的大小，可以允许更多的数据缓冲在里面，那么一次Request发送出去的数据量就更多了，

kafka基本介绍kafka是使用scala语言和java语言编写的一套高可用的消息队列，广泛应用在后端开发里，是后端开发里的一个重要中间件。kafka的使用场景1、异步处理下图为一个订单状态在后端各个模块之间的处理流程，后一个流程必须要等到前一个流程执行完后才能得到执行。当统计完成后，返回给客户端数据。这样的设计方式，看似很合理，每个模块依照顺序执行，编写起来也相对简单。但是有一个非常大的缺陷，**同步的执行效率非常底下。**很多后端模块执行业务请求时其实是可以并行执行的。如果使用kafka，后端的业务流程就可以变成这样。库存模块作为生产者，订单、短信、统计模块作为消费者。相较于同步的执行方

最近刚好要用到kafka进行数据传输，又要鉴权，就研究了一下kafka的鉴权推送和消费，现在将代码放出来，有兴趣的可以看一下，鉴权的加密方式各有不同，所以需要注意哦！一、生产者生产者采用的是异步推送的形式，另外加入了计数模块，担心因为脚本推送后未回调但是脚本就停止的情况。importdatetimefromloguruimportloggerimporttimeimportrandomimportjsonimportgcfromkafkaimportKafkaProducerfromkafka.errorsimportKafkaTimeoutErrorimporttracebackclassK

topic创建/opt/kafka/bin/kafka-topics.sh--create\--zookeeperzookeeper.example.com\--replication-factor1\--partitions1\--topicKafkaTopicName查询/opt/kafka/bin/kafka-topics.sh--list\--zookeeperzookeeper.example.com:2181删除/opt/kafka/bin/kafka-topics.sh\--delete\--zookeeperzookeeper.example.com:2181\--topicK