草庐IT

高温作业

全部标签

从零开始画自己的DAG作业依赖图(一)--前期准备

背景:由于业务场景需要展示作业之间的依赖关系,由于一些开源的插件和当前的业务逻辑有一些冲突,个人打算尝试从零开始,一点点实现自己的DAG图。同时用博客记录自己实现过程和总结,不正确的地方,欢迎指正提升。场景分析:数据开发中常常有作业之间的依赖,在执行作业的时候,可能会出现有些作业失败,或者重试,这时候,运维或者开发的人,需要有一个很直观的图去展示作业之间的依赖,这时候DAG依赖流程图就是一个很好的展现形式。大数据场景下,可能会出现很多节点,甚至可能达到上千,甚至上万的节点,节点之间的边有可能也会很多,大的数据下,图的渲染时间需要考虑在内用户有可能在看了图之后,想直接重跑或者查看某个节点的上下游

php - Yii 和 cron 作业

我创建了一个需要每月运行的Yii命令。如果我转到我的protected文件夹并手动运行命令:protected/yiicganadores它工作正常。我尝试将以下命令行添加到etc/cron.hourly和etc/crontab但没有成功:/usr/bin/php5/var/www/path/to/project/protected/yiicganadores(etc/cron.hourly/ganadores)001**root/usr/bin/php5/var/www/path/to/project/protected/yiicganadores(等/crontab)如果我在etc

php - 我的服务器上没有 cron 作业。在没有用户输入的情况下发送电子邮件的替代方法是什么?

我正在寻找一种方法来让脚本在没有我输入的情况下自行执行。这可能吗?事实并非如此,还有什么选择?我也不想使用第3方网站来执行cron作业。 最佳答案 您可以将代码构建到网络可见的PHP脚本中,然后将其注册到URL监控服务,如http://mon.itor.us/这将每半小时加载一次您的URL。(我不确定您所说的“用于cron作业的第3方站点”是什么意思-希望这不是它。:-) 关于php-我的服务器上没有cron作业。在没有用户输入的情况下发送电子邮件的替代方法是什么?,我们在StackOv

php - cron 作业中的 Google Drive API 错误

我在连接到googledrive的cpanel中有一个cron作业,以定期将网站文件和数据库备份到googledrive帐户。我简化了文件以发现问题:setClientId('xxxx');$client->setClientSecret('xxxx');$service=newGoogle_DriveService($client);$accessToken='{"access_token":"xxx","token_type":"Bearer","expires_in":3600,"refresh_token":"1/xxx"}';$client->setAccessToken($

php - Elastic Beanstalk - Cron 作业正在运行但未执行

这是我第一次在ElasticBeanstalk(EB)上运行cron作业。部署我的代码后,cron作业似乎已创建并正在运行,但PHP脚本未正确执行。这是我的设置。在我的.ebextensions文件夹中,我有一个名为01run.config的文件。container_commands:01_remove_old_cron_jobs:command:"crontab-r||exit0"02_cronjobs:command:"cat.ebextensions/cron_jobs.txt>/etc/cron.d/cron_job&&chmod644/etc/cron.d/cron_job"

php - 不允许 Laravel 作业序列化 'Closure'

我想将数据发送到NewsletterStore作业。但它因以下错误而失败。有什么建议吗?我还尝试删除SerializesModels模型特征。没有任何成功。错误ExceptionSerializationof'Closure'isnotallowedControllerpublicfunctionstore(StoreNewsletterRequest$request){StoreNewsletterJob::dispatch($request);returnview('backend.dashboard.index');}工作protected$request;publicfunct

php - Redis 队列失败作业正在记录到 MySQL

队列驱动设置为使用RedisQUEUE_DRIVER=redis与php/opt/artisanqueue:work--tries=1--queue="data-ingestion-default"--daemon我们收到的错误是[2016-09-1408:32:40]lumen.ERROR:InvalidArgumentException:Database[mysql]notconfigured.in/opt/vendor/illuminate/database/DatabaseManager.php:239Stacktrace:#0/opt/vendor/illuminate/da

php - 使用 PHP 添加/删除 cron 作业

这是我的情况:我们有一个外部供应商将在每周的指定时间每30秒将XML文件推送到我们的服务器。那个时间每周都会有所不同。因此,我想在我们网站的管理端为我的用户提供一个界面,他们可以在其中“按下按钮”并触发数据捕获。(并以同样的方式能够关闭工作)我计划使用PHP来完成这项工作。我假设我需要从我的脚本运行一些系统命令来安排和删除cron作业。我的问题是:这是最好的方法吗?从php安排和删除cron作业有什么危险吗?创建此内容时我需要牢记哪些事项?此外,我们非常欢迎任何有关如何完成此操作的指示/提示。提前致谢。 最佳答案 我建议只让查找上传

php - 如何在 Laravel 5.1 中为作业创建子目录?

我正在使用Laravel5.1。通常,为了生成作业,我会执行phpartisanmake:jobSomeJobName。这基本上会在app/Jobs目录中创建一个SomeJobName作业。但是,如果我的应用程序很大怎么办。我最终会在该文件夹中拥有很多文件。我想稍微组织一下。我想制作如下子目录:app/Jobs/Users/Store.phpUpdate.phpDelete.phpapp/Jobs/PostsStore.phpUpdate.phpDelete.php实现此目标的推荐方法是什么? 最佳答案 artisanmake:*命

php - Laravel 队列只运行一个作业

在我的表“jobs”中有5个作业,我在本地主机上使用进程“phpartisanqueue:listen”,然后它运行所有作业并完成。但是当我在服务器上使用这个过程时,它只运行了一次作业(相同的“phpartisanqueue:work”)。我用queue_driver是“数据库”。 最佳答案 更新-Laravel5.5+只需使用:phpartisanqueue:work--once 关于php-Laravel队列只运行一个作业,我们在StackOverflow上找到一个类似的问题: