编辑了mapred-site.xml、core-site.xml、hadoop-env.sh、hdfs-site.xml、masters和slaves。我有1个DataNode和2个Namenode。它们都成功启动，我可以在浏览器中看到它们。启动了start-mapred.sh并在Namenode上启动了JobTracker和TaskTracker，但无法在datanaode上启动Tasktracker。启动Tasktracker，输出如下。->hadooptasktrackerWarning:$HADOOP_HOMEisdeprecated.13/10/1703:21:55INFOm

在我的设置中，由于电源中断，我的虚拟机在重新启动所有虚拟机后进入停机状态我无法启动Hbase，所有其他服务都可以重新启动/停止/启动，但在CM的UI中在hbaseACTIONS选项卡中，所有选项都被隐藏了..以下是我的hbasemaster日志，现在处于退出模式6:29:05.880AMERRORorg.apache.hadoop.hbase.zookeeper.RecoverableZooKeeperZooKeeperexistsfailedafter3retries6:29:05.880AMWARNorg.apache.hadoop.hbase.zookeeper.ZKUtilhc

我正在运行一个Storm(三叉戟)拓扑，它从kafka读取avro并将记录写入hbase。拓扑在Localcluster模式下按预期运行，但在使用Stormsubmitter时我遇到了以下问题。在分布式Hadoop模式下，我在启动YARN应用程序时收到以下错误[1]。在Hadoop中(本地模式，只有1个盒子)Yarn正在生成nimbus服务器和storm-ui。但是没有主管运行拓扑中的spout/bolt。我猜原因可能是内存不足(4G来运行拓扑+hbase、hdfs、kafka、zookeeper等...)。你能帮我理解这个容器失败的原因吗？应用程序日志中没有错误/信息。[1]YARN

ClouderaManager报告我的Hadoop集群的某些节点上的磁盘已满，但是使用df-h手动检查可用空间时，每个磁盘几乎都是半空的。这是一个错误还是我需要发出一些其他命令来检查实际可用空间？ClouderaManager在进行健康检查时使用什么命令？ 最佳答案 我解决了这个问题。属性dfs.datanode.du.reserved设置为100GB，因此Hadoop无法使用该空间量(对于每个卷)来存储新的HDFSblock。 关于linux-为什么ClouderaManager报告磁

我已经创建了一个配置单元外部表来访问hbase表，方法是遵循HBase-HiveIntegrationanswer.下面是我创建外部表的配置单元查询:CREATEEXTERNALTABLEhive_tweets_by_message_words_key(keyINT,dSTRING)STOREDBY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITHSERDEPROPERTIES("hbase.columns.mapping"=":key,d:d")TBLPROPERTIES("hbase.table.name"="tweets_

我已经创建了一些脚本，使我能够自动执行绝大多数CDH5和ClouderaManagerv5的安装。问题是每次启动集群时，我都必须通过GUI向导配置cloudera管理器。如何配置cloudera管理器以避免GUI设置向导？ 最佳答案 ClouderaManager具有完整的RESTAPI，允许您以编程方式执行任何可以通过UI执行的操作。API详细信息在这里:http://cloudera.github.io/cm_api/ 关于hadoop-如何自动配置ClouderaManager？，

我正在我的系统(14.04/64b)中安装ClouderaManager。在最后一步安装时，在完成安装之前我在验证中遇到了一些错误，如下所示，上面页面的错误是，错误1个别主机正确解析了自己的主机名。主机localhost应具有名称localhost但将(InetAddress.getLocalHost().getHostName())本身解析为arul-pc。错误2检查/etc/hosts时发现以下错误...主机名localhost不是地址127.0.0.1的第一个匹配项在本地主机上的/etc/hosts中。相反，arul-pc是第一个匹配项。这FQDN必须是相应IP的/etc/hos

我的hadoop集群遇到了一些问题。我试着用它做一些基准测试来检查它的性能，看看mapreduce是否工作正常，但我得到了一些奇怪的行为。事实上，mapreduce正在启动并处理其映射阶段，但我从中得到了一些错误:我首先使用teragen来创建数据:$hadoopjar/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jarteragen500random-data然后工作开始了，我在没有停止进程的情况下遇到了一些失败:17/02/2312:29:27INFOclient.RMProxy:Conne

在涉及mapreduce的hive上执行任何查询时，我收到此错误。“UnabletoretrieveURLforHadoopTasklogs.Doesnotcontainavalidhost:portauthority:local” 最佳答案 报告的异常出现在旧版本的Hadoop中(即YARN之前)。大多数情况下，您使用的是旧版本的Hadoop。当mapred.job.tracker的值出现异常参数在local中设置为“mapred-site.xml”相反，它应该是:. 关于hadoop

我已经成功地设置了我的cdh集群(5.14.0)，其中包括4个节点，并安装了包括hdfs、yarn、zookeeper和impala在内的服务。cloudera管理器网页工作正常。但是当我打开一个终端并尝试运行任何hadoop命令时，比如hadoop、impala或任何东西，shell提示“找不到命令”。我使用hadoop用户安装了CM，并使用默认用户cloudera-scm在singer用户模式下运行所有​​服务。我知道CM应该为我设置环境变量，但似乎没有。非常感谢您的帮助! 最佳答案 确保从cloudera管理器服务器下载CDH