草庐IT

compression - Hadoop:在 HDFS 中压缩文件?

我最近在Hadoop中设置了LZO压缩。在HDFS中压缩文件的最简单方法是什么?我想压缩一个文件,然后删除原来的。我应该使用IdentityMapper和使用LZO压缩的IdentityReducer创建MR作业吗? 最佳答案 对我来说,编写HadoopStreaming的开销较低压缩文件的作业。这是我运行的命令:hadoopjar$HADOOP_HOME/contrib/streaming/hadoop-streaming-0.20.2-cdh3u2.jar\-Dmapred.output.compress=true\-Dmapr