草庐IT

KafkaSink

全部标签

2023_Spark_实验二十九:Flume配置KafkaSink

实验目的:掌握Flume采集数据发送到Kafka的方法实验方法:通过配置Flume的KafkaSink采集数据到Kafka中实验步骤:一、明确日志采集方式一般Flume采集日志source有两种方式:1.Exec类型的Source可以将命令产生的输出作为源,如:a1.sources.r1.type=execa1.sources.r1.command =ping10.3.1.227//此处输入命令2.SpoolingDirectory类型的Source将指定的文件加入到“自动搜集”目录中。flume会持续监听这个目录,把文件当做source来处理。注意:一旦文件被放到“自动收集”目录中后,便不能

Flink1.14新版KafkaSource和KafkaSink实践使用(自定义反序列化器、Topic选择器、序列化器、分区器)

前言在官方文档的描述中,APIFlinkKafkaConsumer和FlinkKafkaProducer将在后续版本陆续弃用、移除,所以在未来生产中有版本升级的情况下,新APIKafkaSource和KafkaSink还是有必要学会使用的。下面介绍下基于新API的一些自定义类以及主程序的简单实践。官方案例官方文档地址:https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/docs/connectors/datastream/kafka/KafkaSource的自定义类自定义反序列化器自定义反序列化器可以以指定的格式取到来源K