草庐IT

go - 如何在 Go 中执行并发下载

coder 2023-06-26 原文

我们有一个流程，用户可以通过该流程请求我们需要从我们的来源获取的文件。此来源不是最可靠的，因此我们使用 Amazon SQS 实现了一个队列。我们将下载 URL 放入队列中，然后使用我们用 Go 编写的小应用程序对其进行轮询。这个应用程序只是检索消息，下载文件，然后将其推送到我们存储它的 S3。一旦所有这些都完成，它会回调一个服务，该服务将通过电子邮件通知用户文件已准备就绪。

最初我写这个是为了创建 n 个 channel ，然后为每个 channel 附加 1 个 go-routine，并让 go-routine 处于无限循环中。这样我就可以确保我一次只处理固定数量的下载。

我意识到这不是应该使用 channel 的方式，如果我现在理解正确的话，实际上应该有一个 channel ，其中有 n 个 go-routines 接收那个 channel 。每个 go-routine 都处于无限循环中，等待一条消息，当它接收到数据时，它会处理数据，做它应该做的一切，当它完成后，它会等待下一条消息。这使我能够确保一次只处理 n 个文件。我认为这是正确的做法。我相信这是扇出，对吧？

我不需要做的是将这些流程重新合并在一起。下载完成后，它会回调一个远程服务，以便处理剩余的过程。该应用程序无需执行任何其他操作。

好的，所以一些代码:

func main() {
    queue, err := ConnectToQueue() // This works fine...
    if err != nil {
        log.Fatalf("Could not connect to queue: %s\n", err)
    }

    msgChannel := make(chan sqs.Message, 10)

    for i := 0; i < MAX_CONCURRENT_ROUTINES; i++ {
        go processMessage(msgChannel, queue)
    }

    for {
        response, _ := queue.ReceiveMessage(MAX_SQS_MESSAGES)

        for _, m := range response.Messages {
            msgChannel <- m
        }
    }
}

func processMessage(ch <-chan sqs.Message, queue *sqs.Queue) {
    for {
        m := <-ch
        // Do something with message m

        // Delete message from queue when we're done
        queue.DeleteMessage(&m)
    }
}

我在附近吗？我有 n 运行 go-routines(其中 MAX_CONCURRENT_ROUTINES = n)并且在循环中我们将继续将消息传递到单个 channel 。这是正确的方法吗？我需要关闭任何东西还是可以让它无限期地运行？

我注意到的一件事是 SQS 正在返回消息，但是一旦我将 10 条消息传递到 processMessage()(10 是 channel 缓冲区的大小)，就没有进一步的消息了实际处理。

谢谢大家

最佳答案

看起来不错。一些注意事项:

  1. 除了限制生成的工作例程数量之外，您还可以通过其他方式限制工作并行度。例如，您可以为收到的每条消息创建一个 goroutine，然后让生成的 goroutine 等待限制并行度的信号量。当然需要权衡取舍，但您不仅限于您所描述的方式。

    sem := make(chan struct{}, n)
work := func(m sqs.Message) {
    sem <- struct{}{} // When there's room we can proceed
    // do the work
    <-sem // Free room in the channel
}()
for _, m := range queue.ReceiveMessage(MAX_SQS_MESSAGES) {
    for _, m0 := range m {
        go work(m0)
    }
}

  2. 只能处理 10 条消息的限制是由堆栈中的其他地方引起的。可能您看到的是前 10 个填充 channel 的竞赛，然后工作没有完成，或者您可能不小心从工作例程中返回。如果您的员工按照您描述的模型坚持不懈，您将希望确定他们不会返回。

  3. 不清楚您是否希望进程在处理完一定数量的消息后返回。如果你确实希望这个过程退出，你需要等待所有的 worker 完成他们当前的任务，并且可能会发出信号让他们之后返回。查看 sync.WaitGroup 以同步它们的完成，并使用另一个 channel 来表示没有更多工作，或者关闭 msgChannel，并在您的工作人员中处理它。 (看看二元组返回 channel 接收表达式。)

关于go - 如何在 Go 中执行并发下载，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32437881/

何在gochannelcodesectionconcurrencygoroutine

有关go - 如何在 Go 中执行并发下载的更多相关文章

  1. ruby - 如何在 Ruby 中顺序创建 PI - 2

    出于纯粹的兴趣，我很好奇如何按顺序创建PI，而不是在过程结果之后生成数字，而是让数字在过程本身生成时显示。如果是这种情况，那么数字可以自行产生，我可以对以前看到的数字实现垃圾收集，从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法，类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits

  2. ruby-openid:执行发现时未设置@socket - 2

    我在使用omniauth/openid时遇到了一些麻烦。在尝试进行身份验证时，我在日志中发现了这一点:OpenID::FetchingError:Errorfetchinghttps://www.google.com/accounts/o8/.well-known/host-meta?hd=profiles.google.com%2Fmy_username:undefinedmethod`io'fornil:NilClass重要的是undefinedmethodio'fornil:NilClass来自openid/fetchers.rb，在下面的代码片段中:moduleNetclass

  3. ruby - 如何在 buildr 项目中使用 Ruby 代码？ - 2

    如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  4. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们？ - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  5. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  6. ruby - 如何在续集中重新加载表模式？ - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  7. ruby - 如何使用 Ruby aws/s3 Gem 生成安全 URL 以从 s3 下载文件 - 2

    我正在编写一个小脚本来定位aws存储桶中的特定文件，并创建一个临时验证的url以发送给同事。(理想情况下，这将创建类似于在控制台上右键单击存储桶中的文件并复制链接地址的结果)。我研究过回形针，它似乎不符合这个标准，但我可能只是不知道它的全部功能。我尝试了以下方法:defauthenticated_url(file_name,bucket)AWS::S3::S3Object.url_for(file_name,bucket,:secure=>true,:expires=>20*60)end产生这种类型的结果:...-1.amazonaws.com/file_path/file.zip.A

  8. ruby - 如何在 Ruby 中拆分参数字符串 Bash 样式？ - 2

    我正在为一个项目制作一个简单的shell，我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止，我一直在使用CSV::parse_line，将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"

  9. ruby - 如何在 Lion 上安装 Xcode 4.6，需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  10. ruby - Chef 执行非顺序配方 - 2

    我遵循了教程http://gettingstartedwithchef.com/,第1章。我的运行list是"run_list":["recipe[apt]","recipe[phpap]"]我的phpapRecipe默认Recipeinclude_recipe"apache2"include_recipe"build-essential"include_recipe"openssl"include_recipe"mysql::client"include_recipe"mysql::server"include_recipe"php"include_recipe"php::modul

随机推荐