fileStatusListIterator
全部标签 我试图通过以下方法列出emrhdfs上目录中的所有文件:valdirectory=newFile(directoryPath)valfileStatusListIterator:RemoteIterator[LocatedFileStatus]=FileUtils.fs.listFiles(newPath(directoryPath),true)while(fileStatusListIterator.hasNext){valfileStatus=fileStatusListIterator.nextif(fileStatus.isFile){log.info(s"IteratorFi
我在hdfs中有一个文件夹,其中有两个子文件夹,每个子文件夹大约有30个子文件夹,最后,每个子文件夹都包含xml文件。我想列出所有xml文件,只给出主文件夹的路径。在本地,我可以使用apachecommons-io'sFileUtils.listFiles()。这个我试过了FileStatus[]status=fs.listStatus(newPath(args[0]));但它只列出了前两个子文件夹,并没有更进一步。有没有办法在hadoop中做到这一点? 最佳答案 如果您使用hadoop2.*API,还有更优雅的解决方案:Confi
我在hdfs中有一个文件夹,其中有两个子文件夹,每个子文件夹大约有30个子文件夹,最后,每个子文件夹都包含xml文件。我想列出所有xml文件,只给出主文件夹的路径。在本地,我可以使用apachecommons-io'sFileUtils.listFiles()。这个我试过了FileStatus[]status=fs.listStatus(newPath(args[0]));但它只列出了前两个子文件夹,并没有更进一步。有没有办法在hadoop中做到这一点? 最佳答案 如果您使用hadoop2.*API,还有更优雅的解决方案:Confi