我正在使用从源代码构建的最新hadoop版本3.0.0。我已启动并运行我的时间线服务，并且已配置hadoop以将其用于作业历史记录。但是，当我在resoucemanagerUI中单击历史记录时，出现以下错误:-HTTPERROR404Problemaccessing/jobhistory/job/job_1444395439959_0001.Reason:NOT_FOUND有人可以指出我在这里遗漏了什么吗？以下是我的yarn-site.xml:-ThehostnameoftheTimelineservicewebapplication.yarn.timeline-service.hos
我已经编写了一个MR作业，并使用以下配置设置在本地模式下运行它mapred.local.dir=>fs.default.name=file:///mapred.job.tracker=local在Hadoop1.x上现在我正在使用Hadoop2.x和我正在使用相同配置设置运行的相同作业，但我收到错误:DiskOutofSpace是不是如果我从Hadoop1.x切换到2.x(使用Hadoop-2.6jar)，更改Tmp目录的相同配置设置不起作用？？在Hadoop2.6上配置MR1(mapredAPI)的“tmp”目录的新设置是什么。请多多指教。问候干杯:))
配置hadoop2.7.1以保留yarn作业更长时间已启用日志聚合和作业历史记录/时间线服务器，当资源管理器中的作业完成时，它会显示在作业历史记录服务器中(如果您提供正确的url)，但是作业历史记录服务器仅列出M/R工作，而不是yarn应用问题是作业在时间线服务器中不可见，实际上时间线服务器中没有作业显示当前的yarn-site.xml配置:yarn.timeline-service.hostnamehost1yarn.timeline-service.address${yarn.timeline-service.hostname}:10200yarn.timeline-service
使用配置有Yarn的Spark(在client模式下，虽然与问题关系不大)，我发现我的一些Executors失败。Executor是一个Yarn-Container，它的日志文件位于:/var/log/hadoop-yarn/containers/containerID。容器生成的一些(关键)事件/日志渗透到驱动程序，但不是全部。据观察，当一个Executor失败时，它的logfile会在它死后立即被清除。有什么方法可以防止这些日志因调试目的而被删除吗？ 最佳答案 既然，你的yarn上有Spark，我希望这有助于收集所有日志yarn
我正在尝试测试为我工作的团队构建的大数据平台。它在YARN上运行spark。是否可以创建PySpark应用程序并在YARN集群上提交它们？我能够成功提交示例SparkPijar文件，它在YARNstdout日志中返回输出。这是我要测试的PySpark代码；frompysparkimportSparkConffrompysparkimportSparkContextHDFS_MASTER='hadoop-master'conf=SparkConf()conf.setMaster('yarn')conf.setAppName('spark-test')sc=SparkContext(con
我在HDP2.5集群中使用ApacheTwill运行自定义Yarn应用程序，但是当我转到我的容器网页时，我无法看到我自己的容器日志(syslog、stderr和stdout):当我导航到此页面时，登录名也从我的kerberos更改为“dr.who”。但是我可以看到map-reduce作业的日志。Hadoop版本为2.7.3，集群启用了yarnacl。 最佳答案 我在使用hadoopui时遇到了这个问题。我在this中找到doc，hadoop.http.staticuser.user默认设置为dr.who，您需要将其包含在相关设置文件
我正在使用新的HDP2.6。和安巴里。我在上面安装了Yarn、MapReduce、Spark2、Hadoop等。我正在尝试使用--masteryarn进入sparkshell，但我经常遇到这种错误:$bin/spark-shell--masteryarn--deploy-modeclientWarning:Ignoringnon-sparkconfigproperty:spark-executor.memory=4gSettingdefaultloglevelto"WARN".Toadjustlogginglevelusesc.setLogLevel(newLevel).ForSpar
我正在使用Hadoop2.9.0。是否可以在YARN中提交具有不同优先级的作业？根据一些JIRA票据，应用程序优先级似乎已经实现。我尝试使用YarnClient，并在提交作业之前为ApplicationSubmissionContext设置优先级。我还尝试使用CLI和updateApplicationPriority。但是，应用程序优先级似乎没有任何变化，它始终保持为0。我是否误解了YARN的ApplicationPriority概念？我看到了一些关于设置队列优先级的文档，但对于我的用例，我需要一个队列中的所有作业。将不胜感激任何对我的理解的澄清，或对我可能做错了什么的建议。谢谢。
我正在使用EMR5.4并将spark作业提交给Yarn当我尝试使用yarnlogs-applicationIdapplication_1528461193301_0001检索日志时，出现以下错误:18/06/0812:38:01INFOclient.RMProxy:ConnectingtoResourceManageratip-10-0-182-144.eu-west-1.compute.internal/10.0.182.144:8032s3://xxx/apps/root/logs/application_1528461193301_0001doesnotexist.Logaggr
我正在运行ApachePig0.11.2和Hadoop2.2.0。我在Pig中运行的大多数简单作业都运行良好。但是，每当我尝试在大型数据集上使用GROUPBY或LIMIT运算符时，我都会收到以下连接错误:2013-12-1811:21:28,400[main]INFOorg.apache.hadoop.ipc.Client-Retryingconnecttoserver:tasktracker2/10.201.2.145:54957.Alreadytried0time(s);retrypolicyisRetryUpToMaximumCountWithFixedSleep(maxRetr
