草庐IT

KafkaConsuner

全部标签

KafkaConsuner 指定开始消费的位置

KafkaConsumer指定消费位置的基础一个Topic对应着磁盘上的几个重要的文件:.log:数据文件,存储了该topic中的所有消息。.index:索引文件,对数据文件中的消息进行索引。关键就是可以按照offset来索引.timeindex:时间索引文件,类似于索引文件,但按照消息的时间戳进行索引。它保存着timestamp-offset的关系,所以可以使用时间戳找到对应的offset,然后再找到对应的offset位置,这样就能找到对应的文件开始的位置了。leader-epoch-checkpoint:该文件的职责是存储leader对于topic的进度,以便在leader重启时可以重新定