我是Hadoop新手，正在运行wordCount2示例。但是我遇到了以下错误Exceptioninthread"main"org.apache.hadoop.fs.ParentNotDirectoryException:/tmp(isnotadirectory)atorg.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkIsDirectory(FSPermissionChecker.java:570)atorg.apache.hadoop.hdfs.server.namenode.FSPermissionCheck
我刚开始使用Hadoop，在启动SecondaryNameNode(SNN)时遇到问题。我可以从日志中看到以下错误错误:2015-10-2800:26:58,495信息org.apache.hadoop.hdfs.server.common.Storage:锁定/app/hadoop/tmp/dfs/namesecondary/in_use.lock由nodename10496@sam-Notebook下面是我的配置文件，这是因为NameNode和SNN都试图访问/使用相同的tmp目录吗？hdfs-site.xmldfs.datanode.data.dirfile:/home/sam/
我正在使用yarnjar命令运行MR作业，它会在/tmp文件夹中创建一个临时jar，它会填满整个磁盘空间。我想将这个jar的路径重定向到我有更多磁盘空间的其他文件夹。关于这个link，我开始知道我们可以通过为hadoop版本1.x设置属性mapred.local.dir来更改路径。我正在使用以下命令来运行jaryarnjarmyjar.jarMyClassmyyml.ymlarg1-Dmapred.local.dir="/grid/1/uie/facts"上面的参数mapred.local.dir没有改变路径，它仍然在tmp文件夹中创建jar。 最佳答案
我有一个带有Spark的AWSEMR集群。我可以连接到它(spark):通过SSH连接到主节点后从主节点来自另一个AWSEMR集群但无法连接到它:从我的本地机器(macOSMojave)来自非emr机器，如Metabase和Redash我已阅读thisquestion的答案.我已经检查过所有节点上的文件夹权限和磁盘空间都没有问题。我的假设是我面临着类似的问题JamesWierzba在评论中提问。但是，我没有足够的声誉在那里添加评论。此外，考虑到它特定于AWSEMR，这可能是一个不同的问题。SSH连接到主节点后连接工作正常。#SSHedtomasternode$ssh-i~/identi
我们在amazonEMR上有一个默认配置的hadoop+hbase集群，所以mapred.child.tmp和hbase.tmp.dir都指向/tmp。我们的集群已经运行了一段时间，现在/tmp为500Gb，而实际/hbase数据为70Gb。这种差异似乎太大了，我们是否应该定期删除一些/tmp数据？ 最佳答案 经过一些调查，我发现我们的/tmp数据的最大部分是由Amazon将Hbase自动备份到S3期间失败的mapreduce任务创建的。我们成功的mapreduce任务不会在/tmp中留下太多数据。我们决定禁用Amazon的自动备份
我们使用Hiveserver2(在HortonworksHDP2.2发行版上)创建新集群。一段时间后，我们在hdfs上的/tmp/hive/hive中有超过1048576个目录，因为hive服务器在这个位置生成它。有人遇到过类似的问题吗？来自hive服务器的日志:2015-08-3106:48:15,828WARN[HiveServer2-Handler-Pool:Thread-1104]:conf.HiveConf(HiveConf.java:initialize(2499))-HiveConfofnamehive.heapsizedoesnotexist2015-08-3106:4
我们有HDP集群版本–2.6.4集群安装在redhat机器版本–7.2我们注意到JournalNodes机器(master机器)上存在以下问题我们有3台JournalNodes机器，在/tmp文件夹下我们有数千个空文件夹drwx------.2hivehadoop6Dec2009:00a962c02e-4ed8-48a0-b4bb-79c76133c3ca_resources还有很多文件夹drwxr-xr-x.4hivehadoop4096Dec1209:02hadoop-unjar6426565859280369566内容为beeline-log4j.propertiesBeeLin
我在Hadoop文档中看到1hadoop.tmp.dir的默认值是/tmp/hadoop-${user.name}但如果我这样设置，当机器重新启动时，我是否丢失数据？我的意思是，也许我不必在真正的/tmp中设置它，但我需要在/home/myuser/tmp/hadoop-${user.姓名?提前致谢!添加信息:我在/tmp/hadoop-hduser中设置了它，但是由于电源问题导致计算机中断，今天我收到此消息:CallFromjava.net.UnknownHostException:hduser-machine:hduser-machineto本地主机:54310连接异常失败:jav
我错误地执行了sudorm-rf/tmp/*并且我的HadoopHDFS似乎已损坏，我尝试重新格式化我的HDFS并重新启动所有守护进程，但不幸的是我仍然无法让它工作，我能够在HDFS中创建文件夹，但我无法使用-copyFromLocal将任何文件复制到其中。我的Hadoop版本:Hadoop2.5.0-cdh5.3.5它提示我没有运行数据节点:copyFromLocal:File/user/vagrant/data/wikipedia/simple/part-00025.xml.bz2._COPYING_couldonlybereplicatedto0nodesinsteadofmin
在我们的Hadoop集群(Cloudera发行版)中，我们最近发现HiveJob是由用户在“/tmp”位置创建160TB的文件启动的，它几乎耗尽了剩余的HDFS空间并即将导致中断。后来我们排除故障并终止特定作业，因为我们无法联系到启动该作业的用户。所以现在我的问题是，如果有人创建了大文件或者我们需要限制使用HDFA配额的用户，我们能否为“/tmp”位置设置警报。如果您有任何其他建议，请分享。 最佳答案 您可以使用以下一组命令设置和管理目录的配额hdfsdfsadmin-setQuota...hdfsdfsadmin-clrQuota
