草庐IT

c# - 使用 Parallel ForEach 进行本地初始化如何工作?

coder 2024-05-28 原文

我不确定 Parallel.ForEach 中本地 init 函数的使用,如 msdn 文章中所述:http://msdn.microsoft.com/en-us/library/dd997393.aspx

Parallel.ForEach<int, long>(nums, // source collection
   () => 0, // method to initialize the local variable
   (j, loop, subtotal) => // method invoked by the loop on each iteration
   {
      subtotal += nums[j]; //modify local variable 
      return subtotal; // value to be passed to next iteration
   },...

() => 0 如何初始化任何东西?变量的名称是什么,我如何在循环逻辑中使用它?

最佳答案

引用following overloadParallel.ForEach静态扩展方法:

public static ParallelLoopResult ForEach<TSource, TLocal>(
    IEnumerable<TSource> source,
    Func<TLocal> localInit,
    Func<TSource, ParallelLoopState, TLocal, TLocal> taskBody,
    Action<TLocal> localFinally
)

在您的具体示例中

线路:
() => 0, // method to initialize the local variable

只是一个 lambda(匿名函数),它将返回常量整数零。这个 lambda 作为 localInit 传递Parallel.ForEach 的参数- 由于 lambda 返回一个整数,它的类型为 Func<int>并输入 TLocal可以推断为int由编译器(类似地, TSource 可以从作为参数传递的集合类型推断 source )

然后将返回值 (0) 作为第三个参数(名为 subtotal )传递给 taskBody Func .此 (0) 用作主体循环的初始种子:
(j, loop, subtotal) =>
{
    subtotal += nums[j]; //modify local variable (Bad idea, see comment)
    return subtotal;     // value to be passed to next iteration
}

第二个 lambda(传递给 taskBody)被调用 N 次,其中 N 是 TPL 分区器分配给此任务的项目数。

随后每次调用第二个 taskBody lambda 将传递新值 subTotal ,有效地计算运行 部分 总计,对于此任务。添加分配给此任务的所有项目后,第三个也是最后一个,localFinally将再次调用函数参数,传递 subtotal 的最终值从 taskBody 返回.由于多个此类任务将并行运行,因此还需要最后一步,将所有部分总计添加到最终的“总”总计中。但是,因为多个并发任务(在不同线程上)可能会争夺 grandTotal变量,重要的是要以线程安全的方式对其进行更改。

(我更改了 MSDN 变量的名称以使其更清楚)
long grandTotal = 0;
Parallel.ForEach(nums,            // source collection
  () => 0,                        // method to initialize the local variable
  (j, loop, subtotal) =>          // method invoked by the loop on each iteration
     subtotal + nums[j],          // value to be passed to next iteration subtotal
  // The final value of subtotal is passed to the localFinally function parameter
  (subtotal) => Interlocked.Add(ref grandTotal, subtotal)

在 MS 示例中,修改任务主体内的参数小计是一种糟糕的做法,也是不必要的。即代码 subtotal += nums[j]; return subtotal;最好只是 return subtotal + nums[j];可以缩写为 lambda 速记投影 (j, loop, subtotal) => subtotal + nums[j]
一般情况
localInit / body / localFinally Parallel.For / Parallel.ForEach 的重载允许在 taskBody 之前和之后(分别)运行一次每个任务的初始化和清理代码迭代由任务执行。

(注意传递给并行的 For range/Enumerable For/Foreach 将被划分为 IEnumerable<> 的批次,每个批次将分配一个任务)

每个任务 , localInit将被调用一次,body代码将被重复调用,每个项目一次( 0..N 次),和 localFinally完成后将被调用一次。

此外,您可以通过通用 taskBody 传递任务期间所需的任何状态(即传递给 localFinallyTLocal 委托(delegate))。来自 localInit Func 的返回值- 我把这个变量称为 taskLocals以下。

“localInit”的常见用法:
  • 创建和初始化循环体所需的昂贵资源,例如数据库连接或 Web 服务连接。
  • 保持任务局部变量以保存(无竞争)运行总计或集合
  • 如果您需要从 localInit 返回多个对象到 taskBodylocalFinally ,你可以使用一个强类型类,一个 Tuple<,,>或者,如果您仅对 localInit / taskBody / localFinally 使用 lambdas ,您还可以通过匿名类传递数据。请注意,如果您使用来自 localInit 的返回值要在多个任务之间共享引用类型,您需要考虑此对象的线程安全性 - 最好是不变性。

  • “localFinally”操作的常见用法:
  • 释放资源,如IDisposables用于 taskLocals (例如数据库连接、文件句柄、Web 服务客户端等)
  • 将每个任务完成的工作聚合/组合/减少回共享变量。这些共享变量将被竞争,因此线程安全是一个问题:
  • 例如Interlocked.Increment在像整数这样的原始类型上
  • lock写操作需要或类似的东西
  • 利用 concurrent collections以节省时间和精力。
  • taskBodytight循环操作的一部分 - 您需要优化它的性能。

    这一切最好用一个注释示例进行总结:
    public void MyParallelizedMethod()
    {
        // Shared variable. Not thread safe
        var itemCount = 0; 
    
        Parallel.For(myEnumerable, 
        // localInit - called once per Task.
        () => 
        {
           // Local `task` variables have no contention 
           // since each Task can never run by multiple threads concurrently
           var sqlConnection = new SqlConnection("connstring...");
           sqlConnection.Open();
    
           // This is the `task local` state we wish to carry for the duration of the task
           return new 
           { 
              Conn = sqlConnection,
              RunningTotal = 0
           }
        },
        // Task Body. Invoked once per item in the batch assigned to this task
        (item, loopState, taskLocals) =>
        {
          // ... Do some fancy Sql work here on our task's independent connection
          using(var command = taskLocals.Conn.CreateCommand())
          using(var reader = command.ExecuteReader(...))
          {
            if (reader.Read())
            {
               // No contention for `taskLocal`
               taskLocals.RunningTotal += Convert.ToInt32(reader["countOfItems"]);
            }
          }
          // The same type of our `taskLocal` param must be returned from the body
          return taskLocals;
        },
        // LocalFinally called once per Task after body completes
        // Also takes the taskLocal
        (taskLocals) =>
        {
           // Any cleanup work on our Task Locals (as you would do in a `finally` scope)
           if (taskLocals.Conn != null)
             taskLocals.Conn.Dispose();
    
           // Do any reduce / aggregate / synchronisation work.
           // NB : There is contention here!
           Interlocked.Add(ref itemCount, taskLocals.RunningTotal);
        }
    

    还有更多例子:

    Example of per-Task uncontended dictionaries

    Example of per-Task database connections

    关于c# - 使用 Parallel ForEach 进行本地初始化如何工作?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14831255/

    有关c# - 使用 Parallel ForEach 进行本地初始化如何工作?的更多相关文章

    1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

      我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

    2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法? - 2

      总的来说,我对ruby​​还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

    3. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

      我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

    4. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

      类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

    5. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

      很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

    6. ruby - 在 Ruby 中使用匿名模块 - 2

      假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外,还有什么方法可以访问C和m中的其他内容?我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)?如何在使用完匿名模块后将其删除,使其定义的常量不再存在? 最佳答案 三个答案:是的,使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

    7. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

      我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我

    8. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

      关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

    9. ruby-on-rails - 由于 "wkhtmltopdf",PDFKIT 显然无法正常工作 - 2

      我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中,我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

    10. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

      给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息? 最佳答案 在Rails3中,update_all不返回任何有意义的信息,除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

    随机推荐