草庐IT

getCacheFiles

全部标签

hadoop - getCacheFiles() 和 getLocalCacheFiles() 是一样的吗?

作为getLocalCacheFiles()已弃用,我正在尝试寻找替代方案。getCacheFiles()似乎是一个,但我怀疑它们是否相同。当您调用addCacheFile()时,HDFS中的文件将被下载到每个节点,使用getLocalCacheFiles()你可以获得localized文件路径,你可以从本地文件系统读取它。但是,getCacheFiles()返回的是文件在HDFS中的URI。如果你通过这个URI读取文件,我怀疑你仍然从HDFS而不是本地文件系统读取。以上是我的理解,不知道对不对。如果是这样,getLocalCacheFiles()的替代方法是什么?为什么Hadoop首