草庐IT

redis - 达到 eta 时,长 eta(8 小时以上)的 celery 任务会连续执行多次

coder 2023-07-17 原文

我正在创建一个 eta 范围在 3 到 20 小时之间的任务,当我查看工作日志时,对于这个任务,工作人员说“从经纪人那里得到任务:...”收到原始任务后每小时,直到达到 eta。

我知道这与设置 BROKER_TRANSPORT_OPTIONS = {'visibility_timeout': X} 有关,其中 X 是以秒为单位的数字。

所以我尝试了 visibility_timeout,如果我将它设置为小于 1 小时,那么我可以看到工作人员每隔 X 秒就执行相同的任务,但是当我将 visibility_timeout 设置为更大的 X 时超过 1 小时,那么无论我设置的时间如何,它都会默认为 1 小时。

还有其他人遇到过这个问题吗?这是已知错误吗?

我正在使用 Celery 3.0.11 (Chiastic Slide) 使用 Redis 服务器版本 2.4.15

最佳答案

编辑:任何使用连接到相同 Redis URL 的 kombu* 的消息消费者 将有助于恢复未确认的消息,因此您必须确保所有这些消息 都配置了相同的 visibility_timeout 值。

一个常见的错误是像这样启动 Flower 监视器:

celery flower -b redis://somewhere

而不是像这样:

celery -A proj flower

因为前者意味着花实例将不会被配置 使用 celery 配置,然后缺少 BROKER_TRANSPORT_OPTIONSvisibility_timeout 设置。

除此之外,您还必须确保挂钟 正在使用 ntp 同步,如下面的原始回复中所述。

  • kombu 是 Celery 使用的消息库。

原回复:

尽管我还没有听说过这样的事情,但它可能是一个错误。 我在 kombu/transport/redis.py 中添加了一些打印语句来检查 visibility_timeout 是否设置正确,这绝对适合我。测试它是否适用于大于一个小时的值将花费更多时间(确切地说大约 2 小时),因此我可以在那时报告。

与此同时,您可以通过自己添加打印语句(例如,添加到 redis 传输中的 restore_visible 方法)来验证您是否正确设置了 visiblity_timeout

请注意,此功能使用时间戳,因此如果您有多台机器,时钟几乎同步很重要(尤其是不要按小时漂移)。 您应该始终在联网服务器上使用 ntp 并定期同步。

关于redis - 达到 eta 时,长 eta(8 小时以上)的 celery 任务会连续执行多次,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12683546/

有关redis - 达到 eta 时,长 eta(8 小时以上)的 celery 任务会连续执行多次的更多相关文章

  1. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake,如果我把所有东西都放到Rakefile中,它会很大并且很难读取/找到东西,所以我试着将每个命名空间放在lib/rake中它自己的文件中,我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题,但没有任务。我现在只有一个.rake文件作为测试,名为“servers.rake”,它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  2. ruby-openid:执行发现时未设置@socket - 2

    我在使用omniauth/openid时遇到了一些麻烦。在尝试进行身份验证时,我在日志中发现了这一点:OpenID::FetchingError:Errorfetchinghttps://www.google.com/accounts/o8/.well-known/host-meta?hd=profiles.google.com%2Fmy_username:undefinedmethod`io'fornil:NilClass重要的是undefinedmethodio'fornil:NilClass来自openid/fetchers.rb,在下面的代码片段中:moduleNetclass

  3. ruby - 如何以所有可能的方式将字符串拆分为长度最多为 3 的连续子字符串? - 2

    我试图获取一个长度在1到10之间的字符串,并输出将字符串分解为大小为1、2或3的连续子字符串的所有可能方式。例如:输入:123456将整数分割成单个字符,然后继续查找组合。该代码将返回以下所有数组。[1,2,3,4,5,6][12,3,4,5,6][1,23,4,5,6][1,2,34,5,6][1,2,3,45,6][1,2,3,4,56][12,34,5,6][12,3,45,6][12,3,4,56][1,23,45,6][1,2,34,56][1,23,4,56][12,34,56][123,4,5,6][1,234,5,6][1,2,345,6][1,2,3,456][123

  4. ruby - 多次弹出/移动 ruby​​ 数组 - 2

    我的代码目前看起来像这样numbers=[1,2,3,4,5]defpop_threepop=[]3.times{pop有没有办法在一行中完成pop_three方法中的内容?我基本上想做类似numbers.slice(0,3)的事情,但要删除切片中的数组项。嗯...嗯,我想我刚刚意识到我可以试试slice! 最佳答案 是numbers.pop(3)或者numbers.shift(3)如果你想要另一边。 关于ruby-多次弹出/移动ruby​​数组,我们在StackOverflow上找到一

  5. ruby - 如何使用 RSpec::Core::RakeTask 创建 RSpec Rake 任务? - 2

    如何使用RSpec::Core::RakeTask初始化RSpecRake任务?require'rspec/core/rake_task'RSpec::Core::RakeTask.newdo|t|#whatdoIputinhere?endInitialize函数记录在http://rubydoc.info/github/rspec/rspec-core/RSpec/Core/RakeTask#initialize-instance_method没有很好的记录;它只是说:-(RakeTask)initialize(*args,&task_block)AnewinstanceofRake

  6. ruby - Chef 执行非顺序配方 - 2

    我遵循了教程http://gettingstartedwithchef.com/,第1章。我的运行list是"run_list":["recipe[apt]","recipe[phpap]"]我的phpapRecipe默认Recipeinclude_recipe"apache2"include_recipe"build-essential"include_recipe"openssl"include_recipe"mysql::client"include_recipe"mysql::server"include_recipe"php"include_recipe"php::modul

  7. ruby - 为什么 Ruby 的 each 迭代器先执行? - 2

    我在用Ruby执行简单任务时遇到了一件奇怪的事情。我只想用每个方法迭代字母表,但迭代在执行中先进行:alfawit=("a".."z")puts"That'sanalphabet:\n\n#{alfawit.each{|litera|putslitera}}"这段代码的结果是:(缩写)abc⋮xyzThat'sanalphabet:a..z知道为什么它会这样工作或者我做错了什么吗?提前致谢。 最佳答案 因为您的each调用被插入到在固定字符串之前执行的字符串文字中。此外,each返回一个Enumerable,实际上您甚至打印它。试试

  8. ruby - 检查是否通过 require 执行或导入了 Ruby 程序 - 2

    如何检查Ruby文件是否是通过“require”或“load”导入的,而不是简单地从命令行执行的?例如:foo.rb的内容:puts"Hello"bar.rb的内容require'foo'输出:$./foo.rbHello$./bar.rbHello基本上,我想调用bar.rb以不执行puts调用。 最佳答案 将foo.rb改为:if__FILE__==$0puts"Hello"end检查__FILE__-当前ruby​​文件的名称-与$0-正在运行的脚本的名称。 关于ruby-检查是否

  9. postman——集合——执行集合——测试脚本——pm对象简单示例02 - 2

    //1.验证返回状态码是否是200pm.test("Statuscodeis200",function(){pm.response.to.have.status(200);});//2.验证返回body内是否含有某个值pm.test("Bodymatchesstring",function(){pm.expect(pm.response.text()).to.include("string_you_want_to_search");});//3.验证某个返回值是否是100pm.test("Yourtestname",function(){varjsonData=pm.response.json

  10. ruby-on-rails - rbenv:从 RVM 移动到 rbenv 后,在 Jenkins 执行 shell 中找不到命令 - 2

    我从Ubuntu服务器上的RVM转移到rbenv。当我使用RVM时,使用bundle没有问题。转移到rbenv后,我在Jenkins的执行shell中收到“找不到命令”错误。我内爆并删除了RVM,并从~/.bashrc'中删除了所有与RVM相关的行。使用后我仍然收到此错误:rvmimploderm~/.rvm-rfrm~/.rvmrcgeminstallbundlerecho'exportPATH="$HOME/.rbenv/bin:$PATH"'>>~/.bashrcecho'eval"$(rbenvinit-)"'>>~/.bashrc.~/.bashrcrbenvversions

随机推荐