草庐IT

Crane-Scheduler

全部标签

ruby - rufus-scheduler 和 cron 有什么区别?

https://github.com/jmettraux/rufus-scheduler指出:rufus-schedulerisaRubygemforschedulingpiecesofcode(jobs).ItunderstandsrunningajobATacertaintime,INacertaintime,EVERYxtimeorsimplyviaaCRONstatement.rufus-schedulerisnoreplacementforcron/atsinceitrunsinsideofRuby.如果它在ruby​​中运行呢?我不能使用ruby​​中的系统命令访问cron

c# - 使用 SubscribeOn(Scheduler.TaskPool) 时避免在 Rx 中重叠 OnNext 调用

我有一些使用Rx的代码,从多个线程调用:subject.OnNext(value);//wheresubjectisSubject我希望在后台处理这些值,所以我的订阅是subscription=subject.ObserveOn(Scheduler.TaskPool).Subscribe(value=>{//usevalue});我真的不关心哪些线程处理来自Observable的值,只要工作被放入TaskPool并且不阻塞当前线程即可。但是,我在OnNext委托(delegate)中使用的“值”不是线程安全的。目前,如果有很多值通过Observable,我会收到对OnNext处理程序的

java - Spring Scheduler 意外停止

我们在Tomcat6上有一个Spring3Web应用程序,它通过@Scheduled使用多个预定服务(主要用于每晚运行的作业)。现在看来,有时(很少,可能在两个月左右一次)调度程序线程停止工作,因此第二天晚上不会执行任何作业。我们的日志文件中没有异常或日志条目。有人知道为什么会这样吗?或者如何获取有关此问题的更多信息?有没有办法在应用程序中检测到这种情况并重新启动调度程序?目前,我们正在通过每5分钟运行一次并创建一个日志条目的日志记录作业来解决此问题。如果日志文件停止更新(由nagios监控),我们知道是时候重新启动tomcat了。在没有完全重启服务器的情况下重新启Action业会很好

java - Spring Scheduler 意外停止

我们在Tomcat6上有一个Spring3Web应用程序,它通过@Scheduled使用多个预定服务(主要用于每晚运行的作业)。现在看来,有时(很少,可能在两个月左右一次)调度程序线程停止工作,因此第二天晚上不会执行任何作业。我们的日志文件中没有异常或日志条目。有人知道为什么会这样吗?或者如何获取有关此问题的更多信息?有没有办法在应用程序中检测到这种情况并重新启动调度程序?目前,我们正在通过每5分钟运行一次并创建一个日志条目的日志记录作业来解决此问题。如果日志文件停止更新(由nagios监控),我们知道是时候重新启动tomcat了。在没有完全重启服务器的情况下重新启Action业会很好

java - Apache Hadoop 2.7.4,配置 Fair Scheduler 导致错误

我配置了一个Hadoop2.7.4集群,其中有3个worker和1个master。我必须在集群上运行多个作业。一项工作需要很多时间才能完成,而其他工作则很小。我已经知道FairScheduler最适合我的情况。当我更新yarn-site.xmlFairSchedulerclass并重新启动集群,当我访问http://localhost:8088/cluster时会导致以下错误(资源管理器网页界面)HTTPERROR500Problemaccessing/cluster/.Reason:org.apache.hadoop.yarn.server.resourcemanager.sched

Hadoop Fair Scheduler 没有将任务分配给某些节点

我正在尝试运行FairScheduler,但它没有将Map任务分配给某些节点,只有一个作业正在运行。我的理解是,公平调度程序将使用conf插槽限制,除非存在多个作业,此时公平计算开始。我还尝试在fair-中将所有队列设置为FIFO-scheduler.xml,但我得到了相同的结果。我已经使用mapreduce.jobtracker.taskscheduler参数在所有mapred-site.xml文件中设置了调度程序(尽管我相信只有JobTracker需要它)并且部分节点接收和运行Map任务没有问题。然而,其他节点要么永远不会获得任何Map任务,要么获得一轮Map任务(即,所有槽都被填

hadoop - 为什么 mapreduce 尝试由于 "Container preempted by scheduler"而被终止?

我刚刚注意到Hadoop上的许多Pig作业由于以下原因而被杀死:Containerpreemptedbyscheduler有人可以向我解释是什么原因造成的,我是否应该(并且能够)对此做些什么?谢谢! 最佳答案 如果您有公平的调度程序并启用了多个不同的队列,那么更高优先级的应用程序可以终止您的作业(以抢占方式)。Hortonworks有一个很好的解释和更多的细节https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.2/bk_yarn_resource_mgt/content/pr

hadoop - Hadoop Fair/Capacity Scheduler 可以用在 MR1 上吗?

据我所知,YARN(MRv2)允许插入调度程序,替换默认的FIFO调度程序。我的问题是,我们可以在MRv1中做同样的事情吗?有没有办法在旧版本的Hadoop中替换FIFO调度程序,或者这是仅随YARN提供的东西? 最佳答案 我在Hadoop的0.20.x版本中使用公平调度程序已有一段时间了,从未遇到过任何问题。您可以设置以下属性:mapred.jobtracker.taskSchedulerorg.apache.hadoop.mapred.FairScheduler然后您可以转到http:///scheduler有关如何在MR1中设

hadoop - 无法在 MESOS 框架 : Could not find or load main class org. apache.mesos.hdfs.scheduler.Main 上运行 HDFS

我尝试按照https://github.com/mesosphere/hdfs中提到的步骤进行操作.当我运行./bin/hdfs-mesos时,出现以下错误:Error:Couldnotfindorloadmainclassorg.apache.mesos.hdfs.scheduler.Main有谁知道我该如何解决这个错误? 最佳答案 为了运行mesos-hdfs,需要构建它。githubrepo仅包含源相同标记的版本。按照以下步骤操作:gitclonegit@github.com:mesosphere/hdfs.gitcdhdfs

hadoop - 无法启动 ResourceManager (capacity-scheduler.xml) 找不到 hadoop 2-6.0

我安装了haddop-2.6.0并遵循了Apache站点http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html中的单集群说明。当我尝试使用以下命令启动ResourceManager时$sbin/start-yarn.sh我在控制台中没有收到任何错误,但是当我看到资源管理器日志时却看到了错误。这是日志2015-02-0519:59:08,360INFO[main]resourcemanager.RMNMInfo(RMNMInfo.java:(63))-Registe