草庐IT

rolloverSize

全部标签

hadoop - 当 rolloverSize 设置为 150 MB 时,每隔几秒就会刷新一次 Flume 消息

我创建了一个flume管道,使用flume将数据从Kafka移动到HDFS。我已将rolloverSize设置为150MB,它可以正确滚动。但是我希望将消息频繁写入HDFS文件,而不是将所有消息一次性写入,即目前消息保存在缓冲区中,并在达到150MB大小时刷新。基本上,我想以近乎实时的方式将消息写入HDFS,并在达到150MB时翻转文件。我尝试设置batchSize属性,但没有太大帮助。上面的需求是否可以在flume中实现? 最佳答案 hdfs.rollInterval是你应该在你的flumeconf中设置的。此参数使Flume每隔