一些必须提前知道的概念patitionkafka日志文件是以patition在物理存储上分割的是topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列是以文件夹的形式存储在具体Broker本机上LEO表示每个partition的log最后一条Message的位置HW（HighWatermark）表示partition各个replicas（用于分布式存储的副本分片）数据间同步且一致的offset位置，即表示allreplicas已经commit的位置HW之前的数据才是Commit后的，对消费者才可见 Segment每个partition又由
一些必须提前知道的概念patitionkafka日志文件是以patition在物理存储上分割的是topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列是以文件夹的形式存储在具体Broker本机上LEO表示每个partition的log最后一条Message的位置HW（HighWatermark）表示partition各个replicas（用于分布式存储的副本分片）数据间同步且一致的offset位置，即表示allreplicas已经commit的位置HW之前的数据才是Commit后的，对消费者才可见 Segment每个partition又由
Hi，大家好，我是Mic一个工作5年的粉丝找到我。他说：“Mic老师，你要是能回答出这个问题，我就佩服你”我当场就懵了，现在打赌都这么随意了吗？我问他问题是什么，他说“Kafka如何避免重复消费的问题！”下面看看普通人和高手的回答！普通人：Kafka怎么避免重复消费就是我们可以通过我们可以在那个消息消费的这一端就是我们可以用类似于分布式锁的这样一个设计吧。我消费一个消息的时候我可以直接用比如说redis里面的setNx这样一个指令，然后去把那个消息保存到redis里面然后后面再如果重复发送的话那我就直接只要去判断这个Redis里面有没有存在就好了。高手：好的，关于这问题，我从几个方面来回答。首
Hi，大家好，我是Mic一个工作5年的粉丝找到我。他说：“Mic老师，你要是能回答出这个问题，我就佩服你”我当场就懵了，现在打赌都这么随意了吗？我问他问题是什么，他说“Kafka如何避免重复消费的问题！”下面看看普通人和高手的回答！普通人：Kafka怎么避免重复消费就是我们可以通过我们可以在那个消息消费的这一端就是我们可以用类似于分布式锁的这样一个设计吧。我消费一个消息的时候我可以直接用比如说redis里面的setNx这样一个指令，然后去把那个消息保存到redis里面然后后面再如果重复发送的话那我就直接只要去判断这个Redis里面有没有存在就好了。高手：好的，关于这问题，我从几个方面来回答。首
1、到官网查询所在版本的依赖，导入pom.xml(在此用Flink1.13)官网->教程->connectors->datastream->kafka网址：https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/connectors/datastream/kafka/ dependency> groupId>org.apache.flinkgroupId> artifactId>flink-connector-kafka_2.11artifactId> version>1.13.6version> dep
1、到官网查询所在版本的依赖，导入pom.xml(在此用Flink1.13)官网->教程->connectors->datastream->kafka网址：https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/connectors/datastream/kafka/ dependency> groupId>org.apache.flinkgroupId> artifactId>flink-connector-kafka_2.11artifactId> version>1.13.6version> dep
有时为了日志解耦，通常不把日志打到文件，而是直接打到kafka，而为了分析日志，我们可以通过sidecar的方式，把日志从kafka写入到es里，而通过kibana对日志进行分析。我的k8s-fluentd的相关文章k8s~部署EFK框架k8s~为服务添加sidecar边斗k8s~fluentd的configmap设置es索引前缀ELK~fluentd多行日志的收集使用docker的镜像lypgcs/fluentd-es-kafka:v1.3.2fluent.conf配置可以添加configMap，扩展性更好，下面说一下配置的含义名称是fluentd-config，内部文件名是fluent.c
有时为了日志解耦，通常不把日志打到文件，而是直接打到kafka，而为了分析日志，我们可以通过sidecar的方式，把日志从kafka写入到es里，而通过kibana对日志进行分析。我的k8s-fluentd的相关文章k8s~部署EFK框架k8s~为服务添加sidecar边斗k8s~fluentd的configmap设置es索引前缀ELK~fluentd多行日志的收集使用docker的镜像lypgcs/fluentd-es-kafka:v1.3.2fluent.conf配置可以添加configMap，扩展性更好，下面说一下配置的含义名称是fluentd-config，内部文件名是fluent.c
想要查看Topic里的消息却找不到软件，想要查看或更新Broker、Topic配置，想要监控Broker服务器状态？试试下面的KafkaGUI工具——KafkaAssistant官网地址：http://www.redisant.cn/ka连接到Kafka集群输入Bootstrapserver和Post即可连接，支持各种认证协议仪表盘通过上方的仪表盘按钮即可打开实时监控界面，可以查看请求处理器空闲率、流出和流出字节量、流入消息量等等。生成拓扑图Topology.describe()返回的字符串一键转换为拓扑图查看Topic选择Topics选项卡，列出当前集群下所有Topic，右侧可以分别查看集群
想要查看Topic里的消息却找不到软件，想要查看或更新Broker、Topic配置，想要监控Broker服务器状态？试试下面的KafkaGUI工具——KafkaAssistant官网地址：http://www.redisant.cn/ka连接到Kafka集群输入Bootstrapserver和Post即可连接，支持各种认证协议仪表盘通过上方的仪表盘按钮即可打开实时监控界面，可以查看请求处理器空闲率、流出和流出字节量、流入消息量等等。生成拓扑图Topology.describe()返回的字符串一键转换为拓扑图查看Topic选择Topics选项卡，列出当前集群下所有Topic，右侧可以分别查看集群
