草庐IT

python - memcache.get 返回错误的对象(Celery、Django)

coder 2023-08-19 原文

这是我们目前拥有的:

  1. 我们正在尝试获取缓存的 Django 模型实例，缓存键包括模型名称和实例 ID。使用 Django 的标准 memcached 后端。此程序是非常广泛使用的常用程序的一部分，不仅在 celery 中。
  2. 有时(随机和/或很少)cache.get(key) 返回错误的对象:int 或不同的模型实例，甚至出现相同模型不同 ID 的情况。我们通过检查模型名称和 ID 与缓存键的对应关系来捕捉这一点。
  3. bug 只出现在我们三个 celery 任务的上下文中，从不在 python shell 或其他 celery 任务中重现。 UPD:仅出现在长时间运行的 CPU-RAM 密集型任务下
  4. 缓存存储正确的值(我们在错误刚刚出现时手动检查)
  5. 使用相同的参数再次调用相同的任务可能不会重现问题，尽管概率要高得多，因此错误出现往往会在同一时间段内“分组”
  6. 重启 celery 解决随机时间段(分钟 - 周)的问题
  7. *NEW* 这与内存溢出无关。发生这种情况时，我们始终至少有 2Gb 的可用 RAM。
  8. *NEW* 我们在静态代码中有 cache_instance = cache.get_cache("cache_entry")。在调查过程中，我发现错误发生在 cache_instance.get(key) 返回错误值的时刻，尽管 get_cache("cache_entry").get(key) 在下一行返回正确的一个。这意味着要么 bug 消失得太快，要么由于某种原因 cache_instance 对象被损坏。 django的缓存线程返回的缓存实例对象不安全吗？
  9. *NEW* 我们记录了非常奇怪的情况:作为缓存中的另一个错误对象，我们得到了没有设置 ID 的模型实例。这意味着，该实例从未保存到数据库，因此无法缓存。 (我希望)
  10. *NEW* 这几天至少记录了一个MemoryError

我知道，所有这些听起来都像是某种魔法。真的，任何关于如何实现或如何调试的想法都将不胜感激。

PS:我目前的假设是这与多处理有关:一旦在静态代码中创建缓存实例并且在 Worker 进程 fork 之前，这将导致所有 worker 共享同一个套接字(听起来合理吗？)

最佳答案

终于解决了:

  1. Celery 具有动态缩放功能 - 它能够根据负载添加/杀死 worker
  2. 它通过 fork 现有的来做到这一点
  3. 打开的套接字和文件被复制到派生进程，因此两个进程共享它们，当一个进程读取另一个进程的响应时，这会导致竞争条件。简单地说，一个进程可能会读取为第二个进程准备的响应，反之亦然。
  4. from django.core.cache import cache 此对象存储预连接的 memcached 套接字。当您的进程可以动态 fork 时不要使用它..并且不要使用存储的连接、池和其他。
  5. 或者将它们存储在当前 PID 下，并在每次访问缓存时检查它

关于python - memcache.get 返回错误的对象(Celery、Django)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23358787/

memcachepythonlicachesectiondjangocachingmemcachedcelery

有关python - memcache.get 返回错误的对象(Celery、Django)的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby - Facter::Util::Uptime:Module 的未定义方法 get_uptime (NoMethodError) - 2

    我正在尝试设置一个puppet节点，但ruby​​gems似乎不正常。如果我通过它自己的二进制文件(/usr/lib/ruby/gems/1.8/gems/facter-1.5.8/bin/facter)在cli上运行facter，它工作正常，但如果我通过由ruby​​gems(/usr/bin/facter)安装的二进制文件，它抛出:/usr/lib/ruby/1.8/facter/uptime.rb:11:undefinedmethod`get_uptime'forFacter::Util::Uptime:Module(NoMethodError)from/usr/lib/ruby

  3. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  4. ruby-on-rails - 按天对 Mongoid 对象进行分组 - 2

    在控制台中反复尝试之后，我想到了这种方法，可以按发生日期对类似activerecord的(Mongoid)对象进行分组。我不确定这是完成此任务的最佳方法，但它确实有效。有没有人有更好的建议，或者这是一个很好的方法？#eventsisanarrayofactiverecord-likeobjectsthatincludeatimeattributeevents.map{|event|#converteventsarrayintoanarrayofhasheswiththedayofthemonthandtheevent{:number=>event.time.day,:event=>ev

  5. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  6. ruby - 为什么 4.1%2 使用 Ruby 返回 0.0999999999999996？但是 4.2%2==0.2 - 2

    为什么4.1%2返回0.0999999999999996？但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意，这不是与Ruby相关的问题，而是与所有编程语言相关的问题，因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返

  7. ruby-on-rails - 如何验证非模型(甚至非对象)字段 - 2

    我有一个表单，其中有很多字段取自数组(而不是模型或对象)。我如何验证这些字段的存在？solve_problem_pathdo|f|%>... 最佳答案 创建一个简单的类来包装请求参数并使用ActiveModel::Validations。#definedsomewhere,atthesimplest:require'ostruct'classSolvetrue#youcouldevencheckthesolutionwithavalidatorvalidatedoerrors.add(:base,"WRONG!!!")unlesss

  8. Ruby 写入和读取对象到文件 - 2

    好的，所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象？所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是，我该如何再次将这个id变回一个对象？我知道我可以自己挑选信息并制作一个接受该信

  9. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象，为什么它会起作用？ - 2

    如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？ 最佳答案 像Ruby中的所有其他对象

  10. ruby-on-rails - 未在 Ruby 中初始化的对象 - 2

    我在Rails工作并有以下类(class):classPlayer当我运行时bundleexecrailsconsole然后尝试:a=Player.new("me",5.0,"UCLA")我回来了:=>#我不知道为什么Player对象不会在这里初始化。关于可能导致此问题的操作/解释的任何建议？谢谢，马里奥格 最佳答案 havenoideawhythePlayerobjectwouldn'tbeinitializedhere它没有初始化很简单，因为你还没有初始化它!您已经覆盖了ActiveRecord::Base初始化方法，但您没有调

随机推荐