我正在使用 Concurrency::parallel_for() Visual Studio 2010 的并行模式库 (PPL) 来处理一组索引任务(通常,索引集远大于可以同时运行的线程数)。每个任务,在进行冗长的计算之前,首先从共享资源管理器请求私有(private)工作存储资源(以防万一:任务特定内存映射文件的 View ,但我认为如果每个任务的故事情节都是一样的请求从共享堆分配私有(private)内存)。
共享资源管理器的使用与 Concurrency::critical_section 同步问题就在这里开始了:如果第一个线程/任务在临界区中并且第二个任务发出请求,它必须等到第一个任务的请求被处理。 PPL 显然会想:嘿,这个线程正在等待,还有更多任务要做,因此创建了另一个线程,导致多达 870 个线程大部分在同一个资源管理器处等待。
现在,由于处理资源请求只是整个任务的一小部分,我想告诉那部分的 PPL 别急,任何等待或合作 block 都不应导致新线程从指定的位置开始工作线程的一部分,我的问题是:是否以及如何阻止特定线程部分创建新线程,即使它协同阻塞也是如此。我不介意在线程处理路径下方的其他 block 中创建新线程,但不超过 2*(超)核的数量。
到目前为止我考虑过的替代方案:
排队任务并从有限数量的线程中处理队列。问题:我希望 PPL 的 parallel_for 可以自己完成。
定义一个 Concurrency::combinable<Resource> resourceSet ;外面Concurrency::parallel_for并初始化 resourceSet.local()一次将资源请求数(通过重用资源)减少到线程数(应小于任务数)。问题:此优化不会阻止多余线程的创建。
为parallel_for之外的每个任务预分配所需的资源环形。问题:这会请求过多的系统资源,而将资源量限制为线程/内核的数量是可以的(如果没有激增的话)。
我读了http://msdn.microsoft.com/en-us/library/ff601930.aspx ,“不要在并行循环中重复阻塞”部分,但遵循此处的建议将导致根本没有并行线程。
最佳答案
我不知道是否可以将 PPL/ConcRT 配置为不使用协作同步,或者至少限制它创建的线程数。我认为它可以通过 scheduler policies 控制, 但似乎没有一个政策参数适合这个目的。
不过,我有一些您可能会发现对缓解问题有用的建议,即使不是以理想的方式:
代替critical_section,使用非合作同步原语来保护资源管理器。我认为(虽然没有检查)经典 WinAPI CRITICAL_SECTION应该成功。作为朝这个方向迈出的激进一步,您可以考虑为您的代码使用其他并行库;例如Intel's TBB provides most of PPL API and has more (免责声明:我隶属于它)。
在并行循环之外预先分配一些资源。不需要每个任务一个资源;每个线程一个就足够了。将这些资源放入concurrent_queue ,并在任务中从队列中弹出资源,使用,然后将其推回。此外,线程可能不会将资源返回到队列,而是将其存放在 combinable 对象中,以便在其他任务中重用。如果队列恰好为空(例如,如果 PPL 超额订阅机器),可能会有不同的方法,例如在一个循环中旋转,直到其他线程返回一个资源,或者从管理器请求另一个资源。您也可以选择预分配比线程数更多的资源,以最大限度地减少资源耗尽的可能性。
关于c++ - Concurrency::parallel_for (PPL) 创建了太多线程,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26123972/
出于纯粹的兴趣,我很好奇如何按顺序创建PI,而不是在过程结果之后生成数字,而是让数字在过程本身生成时显示。如果是这种情况,那么数字可以自行产生,我可以对以前看到的数字实现垃圾收集,从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法,类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。
使用带有Rails插件的vim,您可以创建一个迁移文件,然后一次性打开该文件吗?textmate也可以这样吗? 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件,这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails,您可以创建一个新的迁移文件并一次性打开它吗?,我们在StackOverflow上找到一个类似的问题: https://sta
我对最新版本的Rails有疑问。我创建了一个新应用程序(railsnewMyProject),但我没有脚本/生成,只有脚本/rails,当我输入ruby./script/railsgeneratepluginmy_plugin"Couldnotfindgeneratorplugin.".你知道如何生成插件模板吗?没有这个命令可以创建插件吗?PS:我正在使用Rails3.2.1和ruby1.8.7[universal-darwin11.0] 最佳答案 随着Rails3.2.0的发布,插件生成器已经被移除。查看变更日志here.现在
我的瘦服务器配置了nginx,我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例,但找不到好的解决方案。有没有人能做到这一点? 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器,例如server{listen80;server
我想向我的Controller传递一个参数,它是一个简单的复选框,但我不知道如何在模型的form_for中引入它,这是我的观点:{:id=>'go_finance'}do|f|%>Transferirde:para:Entrada:"input",:placeholder=>"Quantofoiganho?"%>Saída:"output",:placeholder=>"Quantofoigasto?"%>Nota:我想做一个额外的复选框,但我该怎么做,模型中没有一个对象,而是一个要检查的对象,以便在Controller中创建一个ifelse,如果没有检查,请帮助我,非常感谢,谢谢
如何使用RSpec::Core::RakeTask初始化RSpecRake任务?require'rspec/core/rake_task'RSpec::Core::RakeTask.newdo|t|#whatdoIputinhere?endInitialize函数记录在http://rubydoc.info/github/rspec/rspec-core/RSpec/Core/RakeTask#initialize-instance_method没有很好的记录;它只是说:-(RakeTask)initialize(*args,&task_block)AnewinstanceofRake
关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗?通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串?SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复?
我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样?我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用,需要1秒才能返回,我有100,000多个页面要访问,所以我试图运行多个线程来解决这个问题。有更好的方法吗?classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("
似乎无法为此找到有效的答案。我正在阅读Rails教程的第10章第10.1.2节,但似乎无法使邮件程序预览正常工作。我发现处理错误的所有答案都与教程的不同部分相关,我假设我犯的错误正盯着我的脸。我已经完成并将教程中的代码复制/粘贴到相关文件中,但到目前为止,我还看不出我输入的内容与教程中的内容有什么区别。到目前为止,建议是在函数定义中添加或删除参数user,但这并没有解决问题。触发错误的url是http://localhost:3000/rails/mailers/user_mailer/account_activation.http://localhost:3000/rails/mai