草庐IT

getmerge

全部标签

hadoop - hdfs dfs -getmerge 命令有什么作用?

作为配置单元查询的结果,我得到了多个输出文件(按排序方式分发),现在我想合并它们以生成一个文件。所以我尝试了hdfsdfs-getmerge命令。现在我想了解-getmerge是在连接之前对文件进行排序还是只是连接? 最佳答案 publicstaticbooleanMore...copyMerge(FileSystemsrcFS,PathsrcDir,277FileSystemdstFS,PathdstFile,278booleandeleteSource,279Configurationconf,StringaddString)t

hadoop - 是否可以在 S3 中运行 hadoop fs -getmerge?

我有一个ElasticMapReduce作业,它正在S3中写入一些文件,我想连接所有文件以生成一个唯一的文本文件。目前我正在手动将包含所有文件的文件夹复制到我们的HDFS(hadoopfscopyFromLocal),然后我正在运行hadoopfs-getmerge和hadoopfscopyToLocal来获取文件。有没有直接在S3上使用hadoopfs的方法? 最佳答案 实际上,关于getmerge的这个响应是不正确的。getmerge需要一个本地目标并且不能与S3一起使用。如果您尝试响应-getmerge:WrongFS:,它会
12