Flink之FileSink将数据写入parquet文件在使用FileSink将数据写入列式存储文件中时必须使用forBulkFormat,列式存储文件如ORCFile、ParquetFile,这里就以ParquetFile为例结合代码进行说明.在Flink1.15.3中是通过构造ParquetWriterFactory然后调用forBulkFormat方法将构造好的ParquetWriterFactory传入,这里先讲一下构造ParquetWriterFactory一共有三种方式序列API方式一AvroParquetWriters.forGenericRecord方式二AvroParquet

在Flink中提供了StreamingFileSink用以将数据流输出到文件系统.这里结合代码介绍如何使用FileSink.首先FileSink有两种模式forRowFormat和forBulkFormatpublicstaticIN>DefaultRowFormatBuilderIN>forRowFormat(finalPathbasePath,finalEncoderIN>encoder){returnnewDefaultRowFormatBuilder>(basePath,encoder,newDateTimeBucketAssigner>());}publicstaticIN>Defa