草庐IT

tracker1

全部标签

hadoop - oozie pig 配置操作中的 <job-tracker> 和 <name-node> - 我在哪里可以找到它们?

我正在尝试运行我的第一个oozie工作流程,很简单行动。任何人都可以帮助这两个标签:[JOB-TRACKER][NAME-NODE]据我了解,参数是指现有配置。我正在使用预配置的环境,所以你能帮忙在哪里找到这些值吗? 最佳答案 如果您有权查看Hadoop的配置文件,请打开core-site.xml以从以下属性中找到名称节点。fs.default.namehdfs://ec2-1-1-1-1.compute-1.amazonaws.com:9000打开mapred-site.xml找到工作跟踪器。mapred.job.trackere

hadoop - 有人在 hadoop 流媒体作业中使用过 mapred.job.tracker=local 吗?

在过去的几周里,我们每天都使用hadoopstreaming来计算一些报告。最近我们对我们的程序进行了更改,如果输入大小小于10MB,我们将在JobConf中设置mapred.job.tracker=local,然后作业将在本地运行。但是昨晚,许多作业都失败了,runningJob.getJobState()返回了状态3。我不知道为什么,stderr里什么也没有。我无法用谷歌搜索与此问题相关的任何内容。所以我想知道我是否应该在生产模式下使用mapred.job.tracker=local?也许它只是hadoop提供的开发中的调试解决方案。有人知道吗?任何信息,任何信息,谢谢。

尽管设置了 mapred.job.tracker 值,Hadoop 1.2.1 仍以本地模式运行

我正在尝试将giraph作业提交到hadoop1.2.1集群。该集群有一个名称节点主节点、一个映射归约主节点和四个从节点。作业失败,出现以下异常:java.util.concurrent.ExecutionException:java.lang.IllegalStateException:checkLocalJobRunnerConfiguration:使用LocalJobRunner时,必须只有一个worker,因为一次只有1个任务!但是,这是我的mapred-site.xml文件:mapred.job.trackerjob.tracker.private.ip:9001mapred

hadoop - 从 Hadoop Job Tracker Web 界面访问 EMR 任务日志

我已经为我的主/从节点打开了EC2安全组,这样我就可以从我的本地浏览器访问作业跟踪器界面。我使用http://MASTER-IP:9100连接到它。一切正常,直到我尝试从任务详细信息访问任务跟踪器日志-http://ec2-xx-xx-xx-xx.compute-1.amazonaws.com:9100/taskdetails.jsp?tipid=task_201212181113_0001_m_000000我得到的链接指向内部EC2IP地址,因此我无法从我的本地计算机访问它们(链接为http://10.116.xxx.xx:9103/tasklog?attemptid=attempt

hadoop job tracker无法启动

单节点设置下我尝试运行单个节点示例然而,jobtracker启动失败并出现异常:2013-04-3017:12:54,984INFOorg.apache.hadoop.metrics2.impl.MetricsConfig:loadedpropertiesfromhadoop-metrics2.properties2013-04-3017:12:54,994INFOorg.apache.hadoop.metrics2.impl.MetricsSourceAdapter:MBeanforsourceMetricsSystem,sub=Statsregistered.2013-04-301

amazon-ec2 - Amazon EC2 上的 Hadoop : Job tracker not starting properly

我们在AmazonEC2集群上运行Hadoop。我们启动主服务器、从服务器并附加ebs卷,最后等待hadoopjobtracker、tasktracker等启动,超时时间为3600秒。我们注意到50%的时间作业跟踪器无法在超时前启动。原因是,hdfs未正确初始化且仍处于安全模式且作业跟踪器无法启动。当我尝试手动ping从站时,我注意到EC2上节点之间的连接问题很少。有没有人遇到过类似的问题并且知道如何解决这个问题? 最佳答案 我不确定这个问题是否与AmazonEC2有关。我也经常遇到这个问题-虽然我的机器上有一个伪分布式安装。在这些

hadoop - 启动 hadoop Job Tracker 时出错

我尝试使用Windows-Cygwin在hadoop中运行一个简单的程序。我可以启动名称节点了。然而,jobtracker启动失败并出现异常:FATALmapred.JobTracker:java.lang.IllegalArgumentException:Doesnotcontainavalidhost:portauthority:localatorg.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:162)atorg.apache.hadoop.net.NetUtils.createSocketAddr(NetUt

Hadoop Datanode、namenode、secondary-namenode、job-tracker 和 task-tracker

我是hadoop的新手,所以我有一些疑问。如果主节点发生故障,hadoop集群会发生什么?我们能否在没有任何损失的情况下恢复该节点?是否可以保留一个辅助主节点在当前主节点发生故障时自动切换为主节点?我们有namenode(Secondarynamenode)的备份,所以我们可以在Secondarynamenode发生故障时从中恢复namenode。这样,当datanode发生故障时,我们如何恢复datanode中的数据呢?Secondarynamenode只是namenode的备份而不是datenode,对吧?如果一个节点在作业完成之前发生故障,那么作业跟踪器中有待处理的作业,该作业是

android - java.lang.UnsatisfiedLinkError : dalvik. system.PathClassLoader[DexPathList.....]找不到 "libdetection_based_tracker.so"

当我尝试运行OpenCV样本进行人脸检测时出现此错误。我已经设置了AndroidSDK路径和NDK路径。android.mk文件和Application.mk文件也已设置。我不明白为什么会收到此错误。请帮忙。安卓.mkLOCAL_PATH:=$(callmy-dir)include$(CLEAR_VARS)#OPENCV_CAMERA_MODULES:=off#OPENCV_INSTALL_MODULES:=off#OPENCV_LIB_TYPE:=SHAREDifdefOPENCV_ANDROID_SDKifneq("","$(wildcard$(OPENCV_ANDROID_SDK

android - Google Analytics Tracker 不适用于 Android 应用程序

我在我的应用中加入了谷歌分析。但是当我创建一个Tracker的对象时,跟踪器不起作用我的一个Activity中的代码@OverrideprotectedvoidonStart(){//TODOAuto-generatedmethodstubsuper.onStart();try{tracker=((GoogleAnalyticsConfig)this.getApplication()).getTracker(GoogleAnalyticsConfig.TrackerName.APP_TRACKER);tracker.setScreenName("HomeActivity");track