在Apache的发行版页面上，Hadoop似乎存在于0.x、1.x和2.x中。但是，在讨论MapReduce/Yarn，决定Hive和Hbase的版本时，好像只讨论了Hadoop1和2，这是为什么呢？0.x只是测试版吗？ 最佳答案 1.X和2.X版本源自0.X系列，该系列仍在继续(据我所知)。版本编号非常困惑。可以在https://blogs.apache.org/bigtop/entry/all_you_wanted_to_know找到有用的图表.即使它已经过时了，您也可以看到相关的分支以及派生自什么。同时检查Hadooprele

我安装了hadoop2.5.2，可以成功运行wordcount示例。然而，当我想看到在yarn上运行的应用程序(作业运行)时，我不能，因为所有应用程序界面总是空的(如下面的屏幕所示)。有没有办法让工作可见？ 最佳答案 请尝试localhost:19888或检查yarn配置文件中配置的作业历史记录的weburl属性值(mapreduce.jobhistory.webapp.address)。 关于hadoop-我在hadoop2.5.2(yarn)中看不到正在运行的应用程序，我们在Stac

使用YARN的Mapreduce无法领先于0%map和0%reduce。我在谷歌计算高内存实例(13GMRAM)上使用ClouderaCDH。机器上有8GB可用内存。你能帮我解决一下吗？sunny@hadoop-m:~$hadoopjar/opt/cloudera/parcels/CDH-5.3.0-1.cdh5.3.0.p0.30/jars/hadoop-mapreduce-examples-2.5.0-cdh5.3.0.jargrepinputoutput'dfs[a-z.]+'14/12/2400:13:53INFOclient.RMProxy:ConnectingtoResou

有没有办法在YARN下运行原生C/C++应用程序？我在谷歌上搜索了很多，看起来应该是可行的，但我没有找到任何POC或说明。 最佳答案 有一些C++MRAPI的早期实现，请看MAPREDUCE-1270和MAPREDUCE-2841 关于c++-YARN下的C/C++程序，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/28031900/

我们有一个Cloudera集群，其中包含3个数据节点和相应的yarn节点管理器。然而，当我们以yarn-client模式向集群提交一个spark脚本时，其中一个节点被处理为applicationmaster，只有另外两个节点被处理为Sparkexecutor。这显示在下面的spark日志中，其中只有节点2和节点3被设置为执行者:Usingpropertiesfile:/opt/cloudera/parcels/CDH-5.3.0-1.cdh5.3.0.p0.30/lib/spark/conf/spark-defaults.confAddingdefaultproperty:spark.

我以前在JobTracker中看到RunningReduceTasks和ReduceTaskCapacity。在YARNResourceManager中，我再也看不到它们了。我们是否删除了它们？什么是容器，它与此有什么关系吗？谢谢。 最佳答案 YARN使用节点级资源管理器(RM)，在其中可以分配M/R任务(包括Reducers)运行。ApplicationMaster跟踪您的M/R作业的进度，并且还可以访问RM提供的容器来运行任务。请查看RM详细信息以进一步跟踪您的应用程序(/jobs/map/reduce任务)

我有一个非常小的新EMR集群可以玩，我试图将每个节点的并发映射器数量限制为2。我通过将默认cpu-vcores降低到2来尝试这个。使用的公式:min((yarn.nodemanager.resource.memory-mb/mapreduce.map.memory.mb),(yarn.nodemanager.resource.cpu-vcores/mapreduce.map.cpu.vcores))集群配置:AMIversion:3.3.1Hadoopdistribution:Amazon2.4.0Core:4m1.large工作配置:yarn.nodemanager.resource

我正在尝试安装hadoop-2.2.0。我使用了以下命令sudomkdir/usr/lib/hadoopsudocphadoop-2.2.0.tar.gz/usr/lib/hadoopcd/usr/lib/hadoopsudotarxzvfhadoop-2.2.0.tar.gz在此之后，我必须更改HADOOP中的文件。第一个问题是“/usr/local/hadoop/”中没有*"etc"*文件夹。其次是我在hadoop的“config”文件夹中找到了hdfs-site.xml、hdfs-site.xml等文件。但是“Yarn-site.xml”并没有丢失。有什么建议吗？

我有几个不同的作业要在Hadoop集群上运行。有些需要很少的资源，有些则需要更多，例如内存。我想在我的集群上同时运行这些作业，因为它支持Yarn。我想如果我只是将作业提交到集群，Yarn会自动决定资源需求，但我想自己指定。如何使用api或命令行来指定每个作业的资源需求？ 最佳答案 您可以使用JobConf为mapper和reducer设置内存。您可以从命令行或在您的驱动程序类中执行此操作。在特定的setMemoryForMapTask(longmem)和setMemoryForReduceTask(longmem)中查找这些属性ht

作为一个hadoop/Spark初学者，我已经按照这个website中的教程进行操作。并成功地在我的单机(CentOS6)上部署了一个hadoop框架。现在我想在同一台机器上也安装Spark1.2，让它与我机器上的单节点Yarn集群一起工作，这意味着在我的单机上对存储在hdfs上的文件执行SparkSQL并将结果输出到hdfs。对于所需的其余步骤，我没有在网上找到针对此场景的好教程。我目前所做的是:(1)从Scala官网下载并安装了scala2.9.3。“scala-version”命令有效!(2)从ApacheSpark网站下载Spark1.2.1(为Hadoop2.4或更高版本预构