草庐IT

go - CoInitializeEx(COINIT_MULTITHREADED) 和使用 WMI 的协程

coder 2024-07-07 原文

我们有一个用 Go 编写的监控代理,它使用许多 goroutines 从 WMI 收集系统指标。我们最近发现当 go 二进制文件在 Server 2016 或 Windows 10(也可能在其他使用 WMF 5.1 的操作系统上)上运行时,程序会泄漏内存。在为 reproduce the issue 创建最小测试用例之后似乎仅当您对 ole.CoInitializeEx 方法进行大量调用时才会发生泄漏(WMF 5.1 中可能发生了一些变化,但我们无法在同一系统上使用 python comtypes 包重现该问题)。

我们在应用程序中将 COINIT_MULTITHREADED 用于多线程单元 (MTA),我的问题是:因为我们从各种 goroutine 发出 OLE/WbemScripting 调用,我们是否需要在启动时只调用一次 ole.CoInitializeEx或者在每个 goroutine 中一次?我们的query code已经使用 runtime.LockOSThread以防止调度程序在不同的操作系统线程上运行该方法,但 MSDN 对 CoInitializeEx 的评论似乎表明它必须在每个线程上至少调用一次。我不知道有什么方法可以确保新的 goroutines 在已经初始化的操作系统线程上运行,所以多次调用 CoInitializeEx 似乎是正确的方法(并且在过去几年中运行良好)。

我们已经refactored the code在专门的后台工作程序上执行所有 WMI 调用,但我很想知道我们的原始代码是否应该在启动时仅使用一个 CoInitializeEx 而不是每个 goroutine 一次。

最佳答案

据我所知,由于 Win32 API 仅根据 native 操作系统线程定义,因此对 CoInitialize[Ex]() 的调用只会影响它完成的线程。

由于 Go 运行时使用自由 M×N 调度 goroutines 到 OS 线程,并且这些线程在运行时以对 goroutines 完全透明的方式根据需要创建/删除,唯一的方法是确保 CoInitialize[Ex]() 调用对其执行的 goroutine 有任何持久影响是首先通过调用 runtime.LockOSThread() 将该 goroutine 绑定(bind)到其当前操作系统线程并执行此操作对于每个打算进行 COM 调用的 goroutine。

请注意,这基本上在 goroutine 和 OS 线程之间创建了一个 1×1 映射,这违背了 goroutine 的大部分目的。所以假设你可能想考虑只让一个 goroutine 调用 COM 并监听 channel 上的请求,或者让 一组这样的 worker goroutines 隐藏在另一个 goroutines 之后,后者会将客户的请求发送给 workers。

关于 COINIT_MULTITHREADED更新

引用the docs :

Multi-threading (also called free-threading) allows calls to methods of objects created by this thread to be run on any thread. There is no serialization of calls — many calls may occur to the same method or to the same object or simultaneously. Multi-threaded object concurrency offers the highest performance and takes the best advantage of multiprocessor hardware for cross-thread, cross-process, and cross-machine calling, since calls to objects are not serialized in any way. This means, however, that the code for objects must enforce its own concurrency model, typically through the use of synchronization primitives, such as critical sections, semaphores, or mutexes. In addition, because the object doesn't control the lifetime of the threads that are accessing it, no thread-specific state may be stored in the object (in Thread Local Storage).

因此,基本上 COM 线程模型与线程本身的初始化无关,而是与 COM 子系统如何调用您在 COM 初始化线程上创建的 COM 对象的方法有关。

IIUC,如果您将 COM 初始化一个线程为 COINIT_MULTITHREADED 并在其上创建一些 COM 对象,然后将其引用传递给该对象的某个外部客户端,以便它能够调用该对象对象的方法,操作系统可以在您进程中的任何线程上调用这些方法。

我真的不知道这应该如何与 Go 运行时交互, 所以我会从小处着手,使用带有 STA 模型的单线程,然后 如果需要,可能会尝试让它变得更复杂。

另一方面,如果您只实例化外部 COM 对象而不实例化 将他们的描述符转移到外面(看起来就是这样), 线程模型不应该是相关的。也就是说,除非某些 WUA API 中的代码会在您创建的 COM 对象上调用一些“类事件”方法 已经实例化。

关于go - CoInitializeEx(COINIT_MULTITHREADED) 和使用 WMI 的协程,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42545728/

有关go - CoInitializeEx(COINIT_MULTITHREADED) 和使用 WMI 的协程的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

  5. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外,还有什么方法可以访问C和m中的其他内容?我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)?如何在使用完匿名模块后将其删除,使其定义的常量不再存在? 最佳答案 三个答案:是的,使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  6. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我

  7. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  8. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t

  9. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过,我不想只删除标签,我想智能地保留尽可能多的格式。为插入换行符标签,检测段落并格式化它们等。输入非常简单,通常是格式良好的html(不是整个文档,只是一堆内容,通常没有anchor或图像)。我可以将几个正则表达式放在一起,让我达到80%,但我认为可能有一些现有的解决方案更智能。 最佳答案 首先,不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案,它会随着HTML的变化而崩溃,或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  10. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库,所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

随机推荐