草庐IT

python - 识别处理器核心或工作人员 ID 并行 python

coder 2024-06-11 原文

我正在并行运行进程，但需要为每个要写入的 cpu 进程创建一个数据库。我只想要与每台服务器上分配的 cpu 一样多的数据库，因此写入 3 个数据库的 100 个作业可以在之后合并。

是否有我可以识别每个 worker 的 worker ID 号或核心 ID？

def workerProcess(job):
  if workerDBexist(r'c:\temp\db\' + workerid):
    ##processjob into this database
  else:
    makeDB(r'c:\temp\db\' + workerid)
    ##first time this 'worker/ core' used, make DB then process

import pp
ppservers = ()
ncpus = 3
job_server = pp.Server(ncpus, ppservers=ppservers)

for work in 100WorkItems:
  job_server.submit(workerProcess, (work,))

最佳答案

据我所知，pp 的 API 中没有任何此类功能。

如果您改用 stdlib 模块，那会让您的生活轻松很多——例如，multiprocessing.Pool接受一个 initializer 参数，您可以使用它来为每个进程初始化一个数据库，然后它可以作为一个变量供每个任务使用。

但是，有一个相对简单的解决方法。

每个进程都有一个唯一的(至少在运行时)进程 ID。* 在 Python 中，您可以使用 os.getpid() 访问当前进程的进程 ID。 .因此，在每个任务中，您可以执行以下操作:

dbname = 'database{}'.format(os.getpid())

然后使用dbname 打开/创建数据库。我不知道“数据库”是指 dbm 文件、sqlite3 文件、MySQL 服务器上的数据库还是什么。例如，您可能需要在父级中创建一个 tempfile.TemporaryDirectory，将其传递给所有子级，并让它们 os.path.join 将其传递给 dbname (因此在所有子项完成后，您可以获取 os.listdir(the_temp_dir) 中的所有内容)。

问题在于，如果 pp.Server 重新启动其中一个进程，您最终会得到 4 个数据库而不是 3 个。可能不是什么大问题，但是您的代码应该处理那种可能性。 (IIRC，pp.Server 通常不会重启进程，除非您通过 restart=True，但它可能会这样做，例如，其中一个崩溃了。)

但是，如果(似乎是这种情况)您实际上是在一个全新的进程中运行每个任务，而不是使用 3 个进程池呢？好吧，那么您最终将拥有与进程一样多的数据库，这可能不是您想要的。你真正的问题是你没有使用 3 个进程的池，这是你应该修复的。但是还有其他方法可以得到你想要的吗？也许吧。

例如，假设您创建了三个锁，每个数据库一个，可能作为锁文件。然后，每个任务都可以执行以下伪代码:

for i, lockfile in enumerate(lockfiles):
    try:
        with lockfile:
            do stuff with databases[i]
            break
    except AlreadyLockedError:
        pass
else:
    assert False, "oops, couldn't get any of the locks"

如果您实际上可以锁定数据库本身(使用 flock，或使用相关数据库的某些 API 等)，事情就更容易了:只需依次尝试连接到它们，直到其中一个成功。

只要您的代码实际上没有段错误或类似错误，**如果您实际上从未一次运行超过 3 个任务，则不可能锁定所有 3 个锁定文件，因此您可以保证得到一个。

* 这并不完全正确，但对于您的目的来说已经足够了。例如，在 Windows 上，每个进程都有一个唯一的 HANDLE，如果您询问它的 pid，如果没有，则会生成一个已经有一个了。在某些 *nixes 上，每个 thread 都有一个唯一的 thread ID，进程的 pid 是第一个线程的线程 ID。等等。但就您的代码而言，您的每个进程都有一个唯一的 pid，这才是最重要的。

** 即使您的代码 崩溃，您也可以处理它，只是更复杂。例如，使用 pidfiles 而不是空锁文件。获取 pid 文件的读锁，然后尝试升级为写锁。如果失败，从文件中读取 pid，并检查是否存在任何此类进程(例如，在 *nix 上，如果 os.kill(pid, 0) 引发，则不存在此类进程)，如果是这样强行打破锁。无论哪种方式，现在您都获得了写锁，所以将您的 pid 写入文件。

关于python - 识别处理器核心或工作人员 ID 并行 python，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/20669881/

python工作人员codesection例如windowsparallel-python

有关python - 识别处理器核心或工作人员 ID 并行 python的更多相关文章

  1. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  2. ruby-on-rails - 由于 "wkhtmltopdf"，PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中，我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  3. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  4. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  5. ruby - 无法让 RSpec 工作—— 'require' : cannot load such file - 2

    我花了三天的时间用头撞墙，试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上，从现在开始，您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳

  6. ruby-on-rails - rspec should have_select ('cars' , :options => ['volvo' , 'saab' ] 不工作 - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion在首页我有:汽车:VolvoSaabMercedesAudistatic_pages_spec.rb中的测试代码:it"shouldhavetherightselect"dovisithome_pathit{shouldhave_select('cars',:options=>['volvo','saab','mercedes','audi'])}end响应是rspec./spec/request

  7. ruby-on-rails - s3_direct_upload 在生产服务器中不工作 - 2

    在Rails4.0.2中，我使用s3_direct_upload和aws-sdkgems直接为s3存储桶上传文件。在开发环境中它工作正常，但在生产环境中它会抛出如下错误，ActionView::Template::Error(noimplicitconversionofnilintoString)在View中，create_cv_url,:id=>"s3_uploader",:key=>"cv_uploads/{unique_id}/${filename}",:key_starts_with=>"cv_uploads/",:callback_param=>"cv[direct_uplo

  8. ruby - JetBrains RubyMine 3.2.4 调试器不工作 - 2

    使用Ruby1.9.2运行IDE提示说需要gemruby​​-debug-base19x并提供安装它。但是，在尝试安装它时会显示消息Failedtoinstallgems.Followinggemswerenotinstalled:C:/ProgramFiles(x86)/JetBrains/RubyMine3.2.4/rb/gems/ruby-debug-base19x-0.11.30.pre2.gem:Errorinstallingruby-debug-base19x-0.11.30.pre2.gem:The'linecache19'nativegemrequiresinstall

  9. Python 相当于 Perl/Ruby ||= - 2

    这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意，但是谷歌搜索||=并不是很有帮助；)Python中是否有与Ruby和Perl中的||=语句等效的语句？例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外，类似这样的东西的通用术语是什么？条件分配是我的第一个猜测，但Wikipediapage跟我想的不太一样。

  10. java - 什么相当于 ruby​​ 的 rack 或 python 的 Java wsgi？ - 2

    什么是ruby​​的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht

随机推荐