草庐IT

CompressionCodec

全部标签

JAVA - SPARK - saveAsTextFile 不能应用于 '(java.lang.String, org.apache.hadoop.io.compress.CompressionCodec)'

我正在使用Spark在JAVA中编写程序。我有一个名为“copied_logs”的JavaRDD,它使用映射并从位于hdfs上的日志中复制几个字段。现在,我想用Bzip2压缩“copied_logs”然后保存。我想使用“saveAsTextFile”函数将这些数据保存在hdfs上。我的压缩保存代码如下:CompressionCodeccodec=newBZip2Codec();copied_logs.saveAsTextFile(output_dir+"copied_logs.json",codec);但是我得到这个错误:Error:(128,69)java:incompatiblet