DirectFileOutputCommitter在Spark2.2.0中不再可用。这意味着写入S3需要非常长的时间(3小时对2分钟)。我可以通过在spark-shell中将FileOutputCommitter版本设置为2来解决这个问题，spark-shell--confspark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=2同样不适用于spark-sqlspark-sql--confspark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=2上面的命令

mapreduce.fileoutputcommitter.marksuccessfuljobsfalse我想将上述属性重写为true。对于集群上的其余作业，该属性需要为false，但在我的oozie工作流中，我需要hadoop在作业完成后在输出目录中创建_SUCCESS文件。它是写入输出的工作流中的配置单元操作。请帮忙。 最佳答案 不幸的是，Hive通过设置它自己的NullOutputComitter覆盖了这个能力:conf.setOutputCommitter(NullOutputCommitter.class);看src/sh