我无法创建新文件或目录，也无法列出现有文件或目录我正在使用下面的命令来做这个操作，你能建议一下吗hduser@c:/usr/local/hadoop$jps8546ResourceManager9181Jps1503NameNode8674NodeManager4398DataNodehduser@c:/usr/local/hadoop$bin/hadoopfs-ls/ls:Couldn'tcreateproxyprovidernullhduser@c:/usr/local/hadoop$bin/hadoopfs-mkdir/booksmkdir:Couldn'tcreateproxy
我一直在遵循一些关于设置vagrant单节点集群的说明，并且已经毫无问题地完成了这些说明。但是，我在尝试重复相同的指令时遇到了几个问题。现在我在尝试运行hadoopfs-ls/时遇到连接被拒绝的问题/$hadoopfs-ls/Warning:$HADOOP_HOMEisdeprecated.15/01/1804:09:21INFOipc.Client:Retryingconnecttoserver:localhost/127.0.0.1:54310.Alreadytried0time(s);retrypolicyisRetryUpToMaximumCountWithFixedSleep
我一直在尝试在伪分布式模式下设置和运行Hadoop。但是当我输入bin/hadoopfs-mkdirinput我明白了mkdir:CallFromh1/192.168.1.13toh1:9000failedonconnectionexception:java.net.ConnectException:Connectionrefused;Formoredetailssee:http://wiki.apache.org/hadoop/ConnectionRefused这里是详细信息核心站点.xmlhadoop.tmp.dir/home/grid/tmpfs.defaultFShdfs://
我正在Hadoop集群上设置Kerberos身份验证。在集群外的一台机器上，每当我执行hadoopfs-ls时，我都会收到以下消息:ls:SIMPLEauthenticationisnotenabled。可用:[TOKEN,KERBEROS]，这很好，因为这就是我想要的。但现在我的问题是，我如何真正成功地执行该命令？我知道如果我不进行身份验证我将无法继续，但我如何从命令行进行身份验证？ 最佳答案 尝试以下步骤服务器kadmin.localaddprincuser@realm.com客户端kinituser@realm.comklis
当我执行-ls命令时，未列出/shared目录[cts573151@aster2~]$hadoopfs-lsdrwx-------cts573151supergroup02016-12-2105:30.Trashdrwxr-xr-x-cts573151supergroup02017-02-0112:28.sparkStagingdrwx-------cts573151supergroup02017-02-0211:37.stagingdrwxr-xr-x-cts573151supergroup02016-12-1911:40_sqoopdrwxr-xr-x-cts573151super
命令hadoopfs-ls/data将以以下格式返回给定路径中的所有子目录:vdrwxr-xr-x+-myusermygroup02017-02-1314:23/data/mysubdirectory我怎样才能让命令只返回一些字段。例如日期和子目录:2017-02-13/data/mysubdirectory 最佳答案 文档显示没有这样的选项:https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/FileSystemShell.html#ls您
我正在尝试以编程方式在hdfs中创建目录。我需要该目录对所有用户都是可写的。所以我尝试像这样将权限传递给mkdirs:Pathdir=newPath("/tmp/mkdir-test");fileSystem.mkdirs(dir,newFsPermission(FsAction.ALL,FsAction.ALL,FsAction.ALL));然而，结果是我获得了具有drwxr-xr-x权限的目录。这似乎不是一些总体权限问题，因为如果我在下一行明确设置它们://ForsomereasontheinitialpermissionsareignoredfileSystem.setPermi
我在HDFS数据目录中有300000多个文件。当我执行hadoopfs-ls时，出现内存不足错误，提示已超出GC限制。每个集群节点都有256GB的RAM。我该如何解决？ 最佳答案 您可以通过指定“HADOOP_CLIENT_OPTS”为hdfs命令提供更多内存HADOOP_CLIENT_OPTS="-Xmx4g"hdfsdfs-ls/在这里找到:http://lecluster.delaurent.com/hdfs-ls-and-out-of-memory-gc-overhead-limit/这解决了我的问题，我在一个目录中有超过4
当我键入hadoopfs-ls时，我收到以下错误消息:deepak@deepak:~$hadoopfs-ls14/03/1912:18:52INFOipc.Client:Retryingconnecttoserver:localhost/127.0.0.1:9000.Alreadytried0time(s);retrypolicyisRetryUpToMaximumCountWithFixedSleep(maxRetries=10,sleepTime=1SECONDS)14/03/1912:18:53INFOipc.Client:Retryingconnecttoserver:loca
为什么hdfsdfs-ls指向与hdfsdfs-ls/不同的位置？从下面的截图中可以清楚地看到两个命令给出不同的输出:以上输出的主要原因是什么？ 最佳答案 来自官方源码org.apache.hadoop.fs.shell.Ls.java.只需搜索DESCRIPTION字词。它将列出以下语句:-publicstaticfinalStringDESCRIPTION="Listthecontentsthatmatchthespecifiedfilepattern.If"+"pathisnotspecified,thecontentsof/
