我使用的是Hadoop2.6,我有一个安装了HDFS的虚拟机集群。我正在尝试通过在我的本地运行的一些Java代码远程读取我的HDFS中的文件,以基本方式,使用BufferedReaderFileSystemfs=null;StringhadoopLocalPath="/path/to/my/hadoop/local/folder/etc/hadoop";ConfigurationhConf=newConfiguration();hConf.addResource(newPath(hadoopLocalPath+File.separator+"core-site.xml"));hConf
我是新来的,这是我的第一个问题。如果我做错了什么,我深表歉意。我一直在阅读TomWhite撰写的Hadoop权威指南。在第3章Hadoop分布式文件系统中,在文件读取的剖析中,我无法理解“FsDataInputStream反过来包装管理数据节点和名称节点I/O的DFSInputStream”是什么意思。请检查此以供引用https://www.inkling.com/read/hadoop-definitive-guide-tom-white-3rd/chapter-3/data-flow我真的很困惑。一个简单的解释将不胜感激。谢谢 最佳答案
我有一个非常简单的Java代码,它从hdfs读取数据try{InputStreams=newGzipCompressorInputStream(hdfsFileSystem.open(filePath),false);ByteStreams.copy(s,outputStream);s.close();}catch(Exceptionex){logger.error("Problemwithfile"+filePath,ex);}有时(不总是)它会抛出异常java.lang.NoSuchMethodError:org.apache.commons.io.IOUtils.closeQui