草庐IT

job-tracker

全部标签

java - Pentaho水壶: how to set up tests for transformations/jobs?

我使用PentahoKettle已经有一段时间了,之前我所做的转换和工作(使用勺子)非常简单,从数据库加载,重命名等,输入到另一个数据库。但现在我一直在做一些更复杂的计算的转换,我现在想以某种方式进行测试。所以我想做的是:设置一些测试数据运行转换验证结果数据一个选择可能是制作一个Kettle测试作业来测试转换。但由于我的转换与Java项目相关,我更愿意从jUnit运行测试。所以我考虑过做一个jUnit测试:设置测试数据(使用dbunit)运行转换(从命令行使用kitchen.sh)验证结果数据(使用dbunit)然而,这种方法需要测试数据库,这些数据库并不总是可用(oracle等昂贵/

java - 以编程方式运行 Spring Batch Job?

我有一个SpringBatch应用程序,我从CommandLineJobRunner开始。但现在我必须将这个应用程序嵌入到我们的公司环境中。那里有一个我必须使用的自己的Launcher应用程序。对于这个启动器应用程序,我需要一个带有main方法的启动类,该方法将在启动时调用,并且我必须在其中启动SpringBatch。是手动分配JobLauncher并使用此启动器运行作业的唯一方法,还是SpringBatch中是否有支持该功能的类(或者有人知道示例)? 最佳答案 如果您不想使用CommandLineRunner(出于某种原因或者如果

Python hadoop 流式传输 : Setting a job name

我有一个使用hadoop-streaming在我的集群上运行的作业我必须开始一个新工作,我想为其添加工作名称,我如何通过命令行或文件传递该选项来设置工作名称?在Java中,你可以这样说JobConfconf=newJobConf(WordCount.class);conf.setJobName("wordcount");如何使用hadoop-streaming做到这一点? 最佳答案 使用-Dkey=value表示法配置属性:-Dmapred.job.name='MyJob'您可以通过仅使用-info参数调用流jar来列出一大堆选项

python - 如何在 openCV python 2.7 中添加 "Tracker"

我正在使用python2.7和opencv3.1我想通过这个运行一个跟踪对象的代码:importcv2importsysif__name__=='__main__':#Setuptracker.#InsteadofMIL,youcanalsouse#BOOSTING,KCF,TLD,MEDIANFLOWorGOTURNtracker=cv2.Tracker_create("MIL")#Readvideovideo=cv2.VideoCapture("videos/chaplin.mp4")#Exitifvideonotopened.ifnotvideo.isOpened():print

python - 如何通过他们的唯一 ID 获取 Gearman Jobs 的状态?

我需要通过这些un​​iqid获取Gearman作业的状态,而不是通过开放的处理程序,正如我在每个地方看到的那样这可能吗?在python-gearmanv.2中使用...感谢您的帮助! 最佳答案 必须深入挖掘才能解决这个问题,因为它没有以友好的方式暴露在python-gearman-API中。但是,您可以通过自己创建GearmanJob和GearmanJobRequest的适当实例来解决它。这是一个如何执行此操作的小示例:importgearmanclient=gearman.GearmanClient(['localhost'])

XXL-JOB定时任务框架(Oracle定制版)

特点xxl-job是一个轻量级、易扩展的分布式任务调度平台,能够快速开发和简单学习。开放源代码并被多家公司线上产品使用,开箱即用。尽管其确实非常好用,但我在工作中使用的是Oracle数据库,因为xxl-job是针对MySQL设计的,所以使用起来需要进行一些魔改。为了方便后人使用,我已经创建了许多SQL和自增序列,并将其整合到了xxl-job-2.3.0版本中,环境已经在线上正常使用了,所以可以放心使用。此外,我还将钉钉群报警机器人集成在了框架中,一旦有任何错误报警就会直接锁定日志URL,方便快速查看和处理响应!xxl-job-2.3.0版本gitee地址:xxl-job-oracle项目介绍:

XXL-JOB定时任务框架(Oracle定制版)

特点xxl-job是一个轻量级、易扩展的分布式任务调度平台,能够快速开发和简单学习。开放源代码并被多家公司线上产品使用,开箱即用。尽管其确实非常好用,但我在工作中使用的是Oracle数据库,因为xxl-job是针对MySQL设计的,所以使用起来需要进行一些魔改。为了方便后人使用,我已经创建了许多SQL和自增序列,并将其整合到了xxl-job-2.3.0版本中,环境已经在线上正常使用了,所以可以放心使用。此外,我还将钉钉群报警机器人集成在了框架中,一旦有任何错误报警就会直接锁定日志URL,方便快速查看和处理响应!xxl-job-2.3.0版本gitee地址:xxl-job-oracle项目介绍:

xxl-job项目实战以及踩坑总结

前言  由于之前我负责的那一块业务只有一个定时任务,所以我直接用的spring带的@Scheduled负责定时任务。现在有了新的定时任务的需求,就准备采用xxl-job框架进行定时任务的管理。需要注意的是请注意xxj-job版本迭代导致的定时任务开发部署导致的差异。本文使用的为xxj-job-2.3.1版本1、拉取xxl-job代码  xxl-job是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。git地址:https://github.com/xuxueli/xxl-job/  直接在本地使用git拉取下来,拉取

mysql - 是否可以在没有 redis 的情况下使用 resque/Sidekiq/rails-jobs(使用 MySql)

我的服务器非常有限,需要后台工作人员的RoR项目。速度不是那么重要,我猜这是使用Redis的主要原因,但最主要的是,服务器不能有Redis数据库,所以有可能吗(即使是monkey-patch也可以),它允许使用任何Rails后台作业方法来使用MySql运行,无论是Resque(首选)、Sidekiq还是Rails内置? 最佳答案 Delayed::Job(orDJ)encapsulatesthecommonpatternofasynchronouslyexecutinglongertasksinthebackground....Ac

ruby-on-rails - delayed_jobs vs resque vs beanstalkd?

这是我的需求:Enqueue_in(10.hours,...)(DJ语法非常完美。)同时增加worker。(Resque或beanstalkd对此有好处,但不是DJ)必须每秒处理100个作业的推送和弹出。(我需要进行测试才能确定,但​​我认为DJ无法处理这么多工作)Resque和beanstalkd不执行enqueue_in。有一个插件(resque_scheduler)可以做到这一点,但我不确定它有多稳定。我们的环境在亚马逊上,他们为拥有亚马逊实例的人免费推出了beanstalkd,这对我们来说是一个优势,但我仍然不确定这里的最佳选择是什么。我们运行rails2.3,但我们很快就会将