草庐IT

c - 挂起和恢复线程(Windows,C)

coder 2024-06-07 原文

我目前正在开发一个高度多线程的应用程序,处理大量要处理的小数据。

问题在于产生了太多线程,这大大降低了系统速度。为了避免这种情况,我有一个Handles表,它限制了并发线程的数量。然后,我“WaitForMultipleObjects”,当一个插槽被释放时,我创建了一个新线程,该线程具有自己的数据批处理。

现在,我有尽可能多的线程(通常每个内核一个)。即使那样,由多线程引起的负载也是非常明智的。这样做的原因是:数据批处理很小,所以我一直在创建新线程。

我当前实现的第一个想法只是将作业重新组合为更长的序列表。因此,当我创建一个新线程时,在终止之前它将有128或512个数据批处理。它运作良好,但在某种程度上破坏了粒度。

我被要求寻找另一种情况:如果问题是由于过于频繁地“创建”线程而引起的,那么“暂停”它们,加载数据批处理并“恢复”线程又如何呢?

不幸的是,我不太成功。
问题是:当线程处于“挂起”模式时,“WaitForMultipleObjects”不会将其检测为可用。实际上,我无法有效地区分 Activity 线程和挂起线程。

所以我有两个问题:

  • 如何检测“挂起的线程”,以便可以将新数据加载到其中并恢复它?
  • 这是个好主意吗?毕竟,“CreateThread”真的是一种资源消耗吗?

  • 编辑

    经过大量测试之后,这是我在线程池和IO完成端口方面的发现,在本文中都建议这样做。

    使用较旧的版本“QueueUserWorkItem”对线程池进行了测试。
    IO完成端口需要使用CreateIoCompletionPort,GetQueuedCompletionStatus和PostQueuedCompletionStatus;

    1)首先要提高性能:创建多个线程非常昂贵,并且线程池和io完成端口在避免该开销方面都做得很好。现在,我从每批次512个工作降到了每批次8个工作,而且没有放缓。这是相当大的。即使每批处理一次作业,性能影响也不到5%。真是了不起。

    从性能的角度来看,QueueUserWorkItem获胜,尽管幅度很小(大约提高了1%),几乎可以忽略不计。

    2)关于使用简便性:
    关于启动线程:毫无疑问,QueueUserWorkItem是迄今为止最容易设置的。相比之下,IO完成端口是重量级的。
    关于结束线程:赢得IO完成端口。
    由于某些未知原因,MS在C中没有提供任何功能来知道何时使用QueueUserWorkItem完成所有作业。成功实现此基本但关键的功能需要一些讨厌的技巧。这种功能的缺乏是没有借口的。

    3)关于资源控制: IO完成端口赢得了,它可以微调并发线程的数量,而QueueUserWorkItem则没有这种控制,它将很高兴地花费所有可用内核的所有CPU周期。就其本身而言,这可能会成为QueueUserWorkItem的交易突破口。
    请注意,较新版本的“完成端口”似乎允许该控件,但仅在Windows Vista和更高版本上可用。

    4)兼容性方面:IO Completion Port赢得了小小的胜利,该端口自Windows NT4起可用。 QueueUserWorkItem仅在Windows 2000以后存在。这已经足够了。对于Windows XP,Completion Port的较新版本已不再适用。

    可以猜到,我在这两种解决方案之间有很大的联系。他们都正确地回答了我的需求。
    对于一般情况,我建议使用I/O完成端口,主要用于资源控制。
    另一方面,QueueUserWorkItem更易于设置。遗憾的是,在要求程序员独自处理工作结束检测时,它失去了大部分这种简单性。

    最佳答案

    如果您还希望支持Windows XP,则不能使用CreateThreadpool -否则,如果Vista和更高版本已足够,则Windows线程池是最简单的方法。

    如果需要Windows XP支持,请生成多个线程并将它们分配给IO completion port,然后将每个线程块放在GetQueuedCompletionStatus()上。完成端口使您可以将事件发布到该端口,每个事件将恰好唤醒一个线程,并且效率很高。他们在唤醒线程时也使用LIFO策略来保持高速缓存的温暖。

    无论如何,您将从不想要挂起线程。永远不能。阻止,等待,但不要暂停。

    原因是使用suspend会得到您描述的问题,另外还会创建死锁,例如如果您的线程在关键部分或互斥锁内。除了调试器之外,没有人需要挂起线程。

    关于c - 挂起和恢复线程(Windows,C),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5213630/

    有关c - 挂起和恢复线程(Windows,C)的更多相关文章

    1. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

      我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep,它会中断应用程序。否则,计算机将持续运行数周,直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗?欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数,使应用程序能够通知系统它正在使用中,从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

    2. ruby - RuntimeError(自动加载常量 Apps 多线程时检测到循环依赖 - 2

      我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样?我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用,需要1秒才能返回,我有100,000多个页面要访问,所以我试图运行多个线程来解决这个问题。有更好的方法吗?classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("

    3. ruby - 在 Windows 机器上使用 Ruby 进行开发是否会适得其反? - 2

      这似乎非常适得其反,因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby​​-mysqlgem问题(gem本身发生段错误,一个名为UnixSocket的类显然在Windows机器上不能正常工作,等等)。我只是在浪费时间吗?我应该转向不同的脚本语言吗? 最佳答案 我在Windows上使用Ruby的经验很少,但是当我开始使用Ruby时,我是在Windows上,我的总体印象是它不是Windows原生系统。因此,在主要使用Windows多年之后,开始使用Ruby促使我切换回原来的系统Unix,这次是Linux。Rub

    4. Vscode+Cmake配置并运行opencv环境(Windows和Ubuntu大同小异) - 2

      之前在培训新生的时候,windows环境下配置opencv环境一直教的都是网上主流的vsstudio配置属性表,但是这个似乎对新生来说难度略高(虽然个人觉得完全是他们自己的问题),加之暑假之后对cmake实在是爱不释手,且这样配置确实十分简单(其实都不需要配置),故斗胆妄言vscode下配置CV之法。其实极为简单,图比较多所以很长。如果你看此文还配不好,你应该思考一下是不是自己的问题。闲话少说,直接开始。0.CMkae简介有的人到大二了都不知道cmake是什么,我不说是谁。CMake是一个开源免费并且跨平台的构建工具,可以用简单的语句来描述所有平台的编译过程。它能够根据当前所在平台输出对应的m

    5. 深度学习部署:Windows安装pycocotools报错解决方法 - 2

      深度学习部署:Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯:公主号AiCharm本系列是作者在跑一些深度学习实例时,遇到的各种各样的问题及解决办法,希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal

    6. ruby - 如何让Ruby捕获线程中的语法错误 - 2

      我正在尝试使用ruby​​编写一个双线程客户端,一个线程从套接字读取数据并将其打印出来,另一个线程读取本地数据并将其发送到远程服务器。我发现的问题是Ruby似乎无法捕获线程内的错误,这是一个示例:#!/usr/bin/rubyThread.new{loop{$stdout.puts"hi"abc.putsefsleep1}}loop{sleep1}显然,如果我在线程外键入abc.putsef,代码将永远不会运行,因为Ruby将报告“undefinedvariableabc”。但是,如果它在一个线程内,则没有错误报告。我的问题是,如何让Ruby捕获这样的错误?或者至少,报告线程中的错误?

    7. ruby - 如何在 ruby​​ 中运行后台线程? - 2

      我是ruby​​的新手,我认为重新构建一个我用C#编写的简单聊天程序是个好主意。我正在使用Ruby2.0.0MRI(Matz的Ruby实现)。问题是我想在服务器运行时为简单的服务器命令提供I/O。这是从示例中获取的服务器。我添加了使用gets()获取输入的命令方法。我希望此方法在后台作为线程运行,但该线程正在阻塞另一个线程。require'socket'#Getsocketsfromstdlibserver=TCPServer.open(2000)#Sockettolistenonport2000defcommandsx=1whilex==1exitProgram=gets.chomp

    8. ruby - Rails 开发服务器、PDFKit 和多线程 - 2

      我有一个使用PDFKit呈现网页的pdf版本的Rails应用程序。我使用Thin作为开发服务器。问题是当我处于开发模式时。当我使用“bundleexecrailss”启动我的服务器并尝试呈现任何PDF时,整个过程会陷入僵局,因为当您呈现PDF时,会向服务器请求一些额外的资源,如图像和css,看起来只有一个线程.如何配置Rails开发服务器以运行多个工作线程?非常感谢。 最佳答案 我找到的最简单的解决方案是unicorn.geminstallunicorn创建一个unicorn.conf:worker_processes3然后使用它:

    9. ruby - 如何在 Ruby 中执行 Windows CLI 命令? - 2

      我在目录“C:\DocumentsandSettings\test.exe”中有一个文件,但是当我用单引号编写命令时`C:\DocumentsandSettings\test.exe(我无法在此框中显示),用于在Ruby中执行命令,我无法这样做,我收到的错误是找不到文件或目录。我尝试用“//”和“\”替换“\”,但似乎没有任何效果。我也使用过系统、IO.popen和exec命令,但所有的努力都是徒劳的。exec命令还使程序退出,这是我不想发生的。提前致谢。 最佳答案 反引号环境就像双引号,所以反斜杠用于转义。此外,Ruby会将空格解

    10. ruby - Ruby 1.9.1 中的 native 线程,对我有什么好处? - 2

      所以,Ruby1.9.1现在是declaredstable.Rails应该与它一起工作,并且正在慢慢地将gem移植到它。它具有native线程和全局解释器锁(GIL)。自从GIL到位后,原生线程是否比1.9.1中的绿色线程有任何优势? 最佳答案 1.9中的线程是原生的,但它们被“放慢了速度”,一次只允许一个线程运行。这是因为如果线程真的并行运行,它会混淆现有代码。优点:IO现在在线程中是异步的。如果一个线程阻塞在IO上,那么另一个线程将继续执行直到IO完成。C扩展可以使用真正的线程。缺点:任何非线程安全的C扩展都可能存在使用Thre

    随机推荐