草庐IT

c++ - 测量相互依赖线程的并行计算时间

coder 2024-02-25 原文

我有一个关于并行程序中的运行时测量的问题(我使用的是 C++,但我认为这个问题更笼统)。

一些简短的解释:3 个线程并行运行 (pthread),以不同的方式解决相同的问题。每个线程都可以将信息传递给另一个线程(例如,一个线程获得的部分解决方案,但另一个线程尚未获得)以加速其他线程,这取决于他自己的状态/他自己计算中的可用信息。一旦第一个线程准备就绪,整个过程就会停止。 现在我想要一个独特的时间测量来评估从开始到问题解决的运行时间。 (最后,我想确定通过并行计算使用协同效应是否比在单线程上计算更快)。

在我看来,问题在于(由于操作系统暂停/取消暂停单线程),在进程中传递信息的时间点在每个进程的状态下都不确定。也就是说,线程1在xxx个cpu时间后获取到某条信息,但无法控制线程2在其计算中花费了yyy或zzz个cpu时间后是否接收到该信息。假设此信息在任何情况下都会完成线程 2 的计算,线程 2 的运行时间是 yyy 或 zzz,具体取决于操作系统的操作。

如何获得运行时比较的确定性行为?我可以命令操作系统“不受干扰”地运行每个线程(在多核机器上)吗?有什么我可以在实现(C++)基础上做的吗?

或者是否有其他概念可用于评估此类实现的运行时间(时间增益)?

最好的问候 马丁

最佳答案

任何时候有人在同一句话中使用术语“确定性”和“多核”时,都会敲响警钟:-)

程序中存在两大不确定性来源:1) 操作系统,它通过操作系统抖动和调度决策为线程计时增加噪音; 2) 算法,因为程序根据(部分解决方案的)通信发生的顺序遵循不同的路径。

作为一名程序员,您对操作系统噪音无能为力。即使对于在专用(静态)节点上运行的程序,标准操作系统也会增加很多噪音。用于计算节点的专用操作系统在某种程度上减少了这种噪音,例如 Blue Gene systems exhibit significantly less OS noise and therefore less variation in timings .

关于算法,您可以通过添加同步将确定性引入您的程序。如果两个线程同步,例如交换部分解决方案,则同步前后的计算顺序是确定的。您当前的代码是异步的,因为一个线程“发送”部分解决方案但不等待它被“接收”。您可以通过将计算分成多个步骤并在每个步骤之后在线程之间进行同步,将其转换为确定性代码。例如,对于每个线程:

  1. 计算一步
  2. 记录部分解决方案(如果有)
  3. 屏障 - 等待所有其他线程
  4. 阅读其他线程的部分解决方案
  5. 重复 1-4

当然,我们不希望这段代码执行得那么好,因为现在每个线程都必须等待所有其他线程完成计算才能继续下一步。

最好的方法可能是只接受非确定性,并使用统计方法来比较您的时间安排。对给定数量的线程多次运行程序,并记录计时的范围、平均值和标准偏差。您可能知道例如对于给定数量的线程,所有运行的最大计算时间,或者您可能需要统计测试,例如 Student's t-test回答更复杂的问题,例如“从 4 个线程增加到 8 个线程会减少运行时间有多大把握?”。正如 DanielKO 所说,时间波动是用户实际体验到的,因此测量这些波动并进行统计量化是有意义的,而不是旨在完全消除它们。

关于c++ - 测量相互依赖线程的并行计算时间,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10242728/

有关c++ - 测量相互依赖线程的并行计算时间的更多相关文章

  1. ruby-on-rails - 如何优雅地重启 thin + nginx? - 2

    我的瘦服务器配置了nginx,我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例,但找不到好的解决方案。有没有人能做到这一点? 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器,例如server{listen80;server

  2. ruby-on-rails - 使用一系列等级计算字母等级 - 2

    这里是Ruby新手。完成一些练习后碰壁了。练习:计算一系列成绩的字母等级创建一个方法get_grade来接受测试分数数组。数组中的每个分数应介于0和100之间,其中100是最大分数。计算平均分并将字母等级作为字符串返回,即“A”、“B”、“C”、“D”、“E”或“F”。我一直返回错误:avg.rb:1:syntaxerror,unexpectedtLBRACK,expecting')'defget_grade([100,90,80])^avg.rb:1:syntaxerror,unexpected')',expecting$end这是我目前所拥有的。我想坚持使用下面的方法或.join,

  3. ruby-on-rails - 在 ruby​​ .gemspec 文件中,如何指定依赖项的多个版本? - 2

    我正在尝试修改当前依赖于定义为activeresource的gem:s.add_dependency"activeresource","~>3.0"为了让gem与Rails4一起工作,我需要扩展依赖关系以与activeresource的版本3或4一起工作。我不想简单地添加以下内容,因为它可能会在以后引起问题:s.add_dependency"activeresource",">=3.0"有没有办法指定可接受版本的列表?~>3.0还是~>4.0? 最佳答案 根据thedocumentation,如果你想要3到4之间的所有版本,你可以这

  4. ruby - RuntimeError(自动加载常量 Apps 多线程时检测到循环依赖 - 2

    我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样?我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用,需要1秒才能返回,我有100,000多个页面要访问,所以我试图运行多个线程来解决这个问题。有更好的方法吗?classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("

  5. ruby-on-rails - Ruby 检查日期时间是否为 iso8601 并保存 - 2

    我需要检查DateTime是否采用有效的ISO8601格式。喜欢:#iso8601?我检查了ruby​​是否有特定方法,但没有找到。目前我正在使用date.iso8601==date来检查这个。有什么好的方法吗?编辑解释我的环境,并改变问题的范围。因此,我的项目将使用jsapiFullCalendar,这就是我需要iso8601字符串格式的原因。我想知道更好或正确的方法是什么,以正确的格式将日期保存在数据库中,或者让ActiveRecord完成它们的工作并在我需要时间信息时对其进行操作。 最佳答案 我不太明白你的问题。我假设您想检查

  6. ruby-on-rails - 将 Ruby 中的日期/时间格式化为 YYYY-MM-DD HH :MM:SS - 2

    这个问题在这里已经有了答案:Railsformattingdate(4个答案)关闭4年前。我想格式化Time.Now函数以显示YYYY-MM-DDHH:MM:SS而不是:“2018-03-0909:47:19+0000”该函数需要放在时间中.现在功能。require‘roo’require‘roo-xls’require‘byebug’file_name=ARGV.first||“Template.xlsx”excel_file=Roo::Spreadsheet.open(“./#{file_name}“,extension::xlsx)xml=Nokogiri::XML::Build

  7. ruby - 查找字符串中的内容类型(数字、日期、时间、字符串等) - 2

    我正在尝试解析一个CSV文件并使用SQL命令自动为其创建一个表。CSV中的第一行给出了列标题。但我需要推断每个列的类型。Ruby中是否有任何函数可以找到每个字段中内容的类型。例如,CSV行:"12012","Test","1233.22","12:21:22","10/10/2009"应该产生像这样的类型['integer','string','float','time','date']谢谢! 最佳答案 require'time'defto_something(str)if(num=Integer(str)rescueFloat(s

  8. ruby - 使用 `+=` 和 `send` 方法 - 2

    如何将send与+=一起使用?a=20;a.send"+=",10undefinedmethod`+='for20:Fixnuma=20;a+=10=>30 最佳答案 恐怕你不能。+=不是方法,而是语法糖。参见http://www.ruby-doc.org/docs/ProgrammingRuby/html/tut_expressions.html它说Incommonwithmanyotherlanguages,Rubyhasasyntacticshortcut:a=a+2maybewrittenasa+=2.你能做的最好的事情是:

  9. 计算机毕业设计ssm+vue基本微信小程序的小学生兴趣延时班预约小程序 - 2

    项目介绍随着我国经济迅速发展,人们对手机的需求越来越大,各种手机软件也都在被广泛应用,但是对于手机进行数据信息管理,对于手机的各种软件也是备受用户的喜爱小学生兴趣延时班预约小程序的设计与开发被用户普遍使用,为方便用户能够可以随时进行小学生兴趣延时班预约小程序的设计与开发的数据信息管理,特开发了小程序的设计与开发的管理系统。小学生兴趣延时班预约小程序的设计与开发的开发利用现有的成熟技术参考,以源代码为模板,分析功能调整与小学生兴趣延时班预约小程序的设计与开发的实际需求相结合,讨论了小学生兴趣延时班预约小程序的设计与开发的使用。开发环境开发说明:前端使用微信微信小程序开发工具:后端使用ssm:VU

  10. ruby - 如何让Ruby捕获线程中的语法错误 - 2

    我正在尝试使用ruby​​编写一个双线程客户端,一个线程从套接字读取数据并将其打印出来,另一个线程读取本地数据并将其发送到远程服务器。我发现的问题是Ruby似乎无法捕获线程内的错误,这是一个示例:#!/usr/bin/rubyThread.new{loop{$stdout.puts"hi"abc.putsefsleep1}}loop{sleep1}显然,如果我在线程外键入abc.putsef,代码将永远不会运行,因为Ruby将报告“undefinedvariableabc”。但是,如果它在一个线程内,则没有错误报告。我的问题是,如何让Ruby捕获这样的错误?或者至少,报告线程中的错误?

随机推荐