草庐IT

StreamingFileSink

全部标签

Flink_StreamingFileSink-实时数据写入HDFS

FlinkDataStream中将流数据保存HDFS文件系统方式:第一种方式:自定义Sink,实现RichSinkFunction使用JDBC的方式将数据写入到Hive数据库中,这种方式效率比较低原因在于:INSERTINTO插入数据,底层运行MapReduce程序,所以不推荐使用,了解即可。第二种方式:StreamingFileSinkConnector流式写入HDFS文件,吞吐量较高StreamingFileSink实现数据落地HDFS,使用FlinkDataStream中自带Connector:StreamingFileSink,将分区文件写入到支持[FlinkFileSystem](h