文章目录问题描述解决方案问题描述报错了：这啥公司啊，怎么给的文档怎么错这么多，起一服务，集群里总有几个组件报错继上次Flume脚本，使用hdfssink报错了以后，hbase又报错了，报错提示如下：hbase(main):001:0>listTABLEERROR:Can'tgetmasteraddressfromZooKeeper;znodedata==nullHereissomehelpforthiscommand:Listalltablesinhbase.Optionalregularexpressionparametercouldbeusedtofiltertheoutput.Examp

前言:我有一个网络应用程序的问题，该应用程序是由一名已离职的员工开发的。由于几乎没有关于可用实现的文档，我不确定从哪里获得更多关于该问题的信息，因此提出了这个问题。我试图找到与此问题(Hadooppseudodistributedmode-Datanodeandtasktrackernotstarting)类似的问题的解决方案。但是，由于我对hadoop的经验很少，所以我无法确定我需要修复什么才能让应用程序正常工作。场景:应用程序分为两部分:有一个运行应用程序的Tomcat服务器处理用户输入并提供mapreduce的结果作业(localhost:8080/WebApp)。localho

作业完成时。我可以从WebUI跟踪作业历史记录日志，但找不到来自数据节点(运行nodemanger服务)本地文件系统的日志，也找不到hdfs://user/who/.staging下的日志。我确认${yarn.nodemanger.log-dirs}已配置。yarn日志是不是自动删除了？或者有一些服务没有运行？ 最佳答案 不，您可以使用命令yarnlogs-applicationIdyour_application_id检索应用程序日志。 关于hadoop-找不到yarn应用程序日志，我

我想知道一些参数来加速我的YARN集群上的Spark作业。我有以下Spark/YARN配置，但我对执行速度不满意。我有很多未使用的vcores和内存。Spark配置:-spark.yarn.am.cores=2-spark.executor.memory=5g-spark.executor.cores=8yarn配置:-yarn.nodemanager.resource.memory-mb=31744-yarn.nodemanager.resource.cpu-vcores=15-yarn.scheduler.maximum-allocation-mb=31744从图片来看，在节点3和

我在运行map/reduce作业时遇到以下异常。我们通过oozie提交map/reduce作业。FailingOozieLauncher,Mainclass[org.apache.oozie.action.hadoop.JavaMain],main()threwexception,CouldnotfindYarntagsproperty(mapreduce.job.tags)java.lang.RuntimeException:CouldnotfindYarntagsproperty(mapreduce.job.tags)atorg.apache.oozie.action.hadoop

我一直在尝试按照here中的说明在单个节点上安装Hadoop.有两组指令，一组用于在本地运行MapReduce作业，另一组用于YARN。在本地运行MapReduce作业和在YARN上运行有什么区别？ 最佳答案 如果您使用本地，则map和reduce任务在同一个jvm中运行。通常我们要调试代码的时候会用到这种模式。而如果我们使用MRV2中的yarn资源管理器，mappers和reducers将在不同的节点和不同的jvms中运行，并且在同一节点中运行(如果它是伪分布式模式)。 关于hadoo

我正在尝试从.hql文件执行“copyToLocal”，如下所示:dfs-copyToLocalhdfs://nameservice1/HDFS_FOLDER1/HDFS_FOLDER2/file_name.dat/LOCAL_FOLDER1/LOCAL_FOLDER2/;但是我得到了下面提到的异常:Error:Errorwhileprocessingstatement:null(state=,code=1)org.apache.hive.service.cli.HiveSQLException:Errorwhileprocessingstatement:nullatorg.apach

谁能告诉我Core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml必须具备的属性，没有这些属性hadoop就无法启动？ 最佳答案 以下设置适用于Hadoop2.x.x的独立和伪节点设置。核心站点.xmlfs.default.namehdfs://localhost:9000hdfs-site.xmldfs.replication1dfs.name.dirfile:///home/hadoop/hadoopdata/hdfs/namenodedfs.data.dirfile:/

所以首先，我想说的是我所看到的解决这个问题的唯一方法是:Spark1.6.1SASL.但是，在添加spark和yarn认证的配置时，还是不行。下面是我在亚马逊emr上的yarn集群上使用spark-submit的spark配置:SparkConfsparkConf=newSparkConf().setAppName("secure-test");sparkConf.set("spark.authenticate.enableSaslEncryption","true");sparkConf.set("spark.network.sasl.serverAlwaysEncrypt","tr

我有一份工作比我日常工作流程中运行的其他50份左右的工作要大得多。我希望属性yarn.app.mapreduce.am.resource.mb更大一些，以便完成大工作。我运气好吗？我如何知道哪些属性需要完全重启集群中的哪些YARN片段才能更改？ 最佳答案 无需重启YARN服务即可在作业级别更改此设置。一般很难说什么时候可以更改每个MR属性。通常可以在作业级别更新作业级别的属性，如mapper/reducer/appmaster内存设置。可以查看thishelpfulpost以更深入地了解这个主题。