草庐IT

golang 异步缓冲 channel 挂起

coder 2024-07-08 原文

作为第一个项目，我决定编写一个简单的异步 web-scaper。我的想法是有一个任务队列和一个“解决”任务的 worker 池。在编写程序时遇到了一个问题。

以下代码挂起:

package main

import (
    "fmt"
    "net/http"
    "time"
)

type Scraper struct {
    client http.Client
    timeout int
    tasks chan string
    results chan int
    ntasks int
}

func (s Scraper) Init(timeout int, workers int) {
    s.client = http.Client{
        Timeout: time.Second * time.Duration(timeout),
    }
    s.timeout = timeout
    s.ntasks = 0
    s.Dispatch(workers)
}

func (s Scraper) Wait() {
    for i := 0; i < s.ntasks; i++ {
        <-s.results
    }
}

func (s Scraper) Task(task string) {
    s.tasks <- task // hangs on this line
    s.ntasks++;
}

func (s Scraper) Dispatch(workers int) {
    s.tasks   = make(chan string, 100)
    s.results = make(chan int,    100)
    for i := 0; i < workers; i++ {
        go s.worker(i)
    }
}

func (s Scraper) worker(id int) {
    for task := range <-s.tasks {
        fmt.Println(task)
        s.results <- 0
    }
}

func main() {

    s := Scraper{}
    s.Init(10, 5)
    s.Task("Hello World")
    s.Wait()

}

虽然这不是:

func worker(id int, jobs <-chan int, results chan<- int) {
    for j := range jobs {
        fmt.Println("worker", id, "started  job", j)
        time.Sleep(time.Second)
        fmt.Println("worker", id, "finished job", j)
        results <- j * 2
    }
}

func main() {
    jobs    := make(chan int, 100)
    results := make(chan int, 100)

    for w := 1; w <= 3; w++ {
        go worker(w, jobs, results)
    }

    for j := 1; j <= 5; j++ {
        jobs <- j
    }

    close(jobs)

    for a := 1; a <= 5; a++ {
        <-results
    }

}

查看堆栈溢出，我看到无缓冲 channel 挂起，但 make(chan string, 100) 应该创建一个缓冲 channel 。

最佳答案

像这样将所有接收器更改为指针:

func (s *Scraper) Init(timeout int, workers int) // *Scraper not 'Scraper'

有关指针接收器的更多详细信息:https://tour.golang.org/methods/4

正如@JimB 指出的那样 - 该范围也有一个错误，它应该是这样的:

func (s *Scraper) worker(id int) {
    // `range s.tasks` not `range <-s.tasks`
    for task := range s.tasks {
        fmt.Println(task)
        s.results <- 0
    }
}

带接收器和范围修复的 Playground :https://play.golang.org/p/RulKHHfnvJo

关于golang 异步缓冲 channel 挂起，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/56549917/

channelgolangScraperresultsintgo

有关golang 异步缓冲 channel 挂起的更多相关文章

  1. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  2. ruby-on-rails - 在 Ruby on Rails 中发送响应之前如何等待多个异步操作完成？ - 2

    在我做的一些网络开发中，我有多个操作开始，比如对外部API的GET请求，我希望它们同时开始，因为一个不依赖另一个的结果。我希望事情能够在后台运行。我找到了concurrent-rubylibrary这似乎运作良好。通过将其混合到您创建的类中，该类的方法具有在后台线程上运行的异步版本。这导致我编写如下代码，其中FirstAsyncWorker和SecondAsyncWorker是我编写的类，我在其中混合了Concurrent::Async模块，并编写了一个名为“work”的方法来发送HTTP请求:defindexop1_result=FirstAsyncWorker.new.async.

  3. ruby - Net::SSH sudo 命令在输入密码后挂起 - 2

    我一直在尝试使用Thor编写一个小型库，以帮助我快速创建新项目和站点。我写了这个小方法:defssh(cmd)Net::SSH.start(server_ip,user,:port=>port)do|session|session.execcmdendend只是协助我在需要时在远程服务器上运行快速命令。问题是当我需要在远程端的sudo下运行命令时，脚本似乎卡在我身上。例如当执行这个...ssh("sudocp#{file_from_path}#{file_to_path}")脚本会提示我输入密码[sudo]passwordforuser:但是在输入之后整个事情就挂起。有人会碰巧知道它为

  4. ruby - 如何禁止在 RSpec 中显示挂起(跳过)的规范？ - 2

    我有几个跳过的规范。Pending:(Failureslistedhereareexpectedanddonotaffectyoursuite'sstatus)1)...#Notyetimplemented#./spec/requests/request_spec.rb:22如何抑制未决规范的输出？ 最佳答案 您可以添加以下配置选项以从运行中过滤掉所有待处理的规范:RSpec.configuredo|config|config.filter_run_excludingskip:trueend此外，here是一个更详细的抑制输出的建议

  5. ruby-on-rails - Rails 和 Rake 命令挂起并且什么都不做 - 2

    我不知道为什么，但是当我在我的Rails项目中运行rake命令时，没有任何反应。railsserver什么也不做。有什么建议吗？ 最佳答案 你可以在开头添加一个“ruby-rtracer”以查看它卡在哪里。 关于ruby-on-rails-Rails和Rake命令挂起并且什么都不做，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/3657296/

  6. ruby-on-rails - 即使没有挂起的迁移，Rails 迁移也非常缓慢 - 2

    我的生产Rails应用程序需要167秒来运行rakedb:migrate。可悲的是，没有要运行的迁移。我试图在检查是否有待处理的迁移时调整运行的迁移，但随后检查花费了同样长的时间。我心目中唯一的“借口”是数据库并不小，那里有1M条记录，但我看不出这有什么关系。我查看了日志，但没有任何迹象表明出了什么问题。我在运行ruby2.2.0rails4.2.0有没有人知道为什么会这样，是否有什么办法可以解决？ 最佳答案 运行rakedb:migrate任务还会调用db:schema:dump任务，这将更新您的db/schema.rb。因此，即

  7. ruby - 使用什么异步 Ruby 服务器？ - 2

    我们开始使用Ruby开发新游戏项目。我们决定使用其中一种异步Ruby服务器，但我们无法决定选择哪一种。选项是:歌利亚抽筋+消瘦/彩虹rack-fiber_pool+rack+thin/rainbowseventmachine_httpserver它们似乎都在处理HTTP请求。Cramp还支持开箱即用的Websocket和服务器端事件。您知道这些服务器的优缺点吗？ 最佳答案 我使用eventmachine_httpserver公开了一个RESTfulAPIinanEventMachine-basedIRCbot绝对不会推荐它用于任何严

  8. ruby - 具有基本身份验证和 gzip 的 em-http 流挂起 - 2

    我正在尝试使用GnipPowerTrackAPI，这需要我使用基本身份验证连接到JSON的HTTPS流。我觉得这应该是相当微不足道的，所以我希望一些比我聪明的ruby​​ist可以指出我明显的错误。这是我的ruby​​1.9.3代码的相关部分:require'eventmachine'require'em-http'require'json'usage="#{$0}"abortusageunlessuser=ARGV.shiftabortusageunlesspassword=ARGV.shiftGNIP_STREAMING_URL='https://stream.gnip.com:4

  9. Ruby 并发/异步处理(简单用例) - 2

    我一直在研究ruby​​的并行/异步处理能力，并阅读了许多文章和博客文章。我查看了EventMachine、Fibers、Revactor、Reia等。不幸的是，我无法为这个非常简单的用例找到简单、有效(且非IO阻塞)的解决方案:File.open('somelogfile.txt')do|file|whileline=file.gets#(R)ReadfromIOline=process_line(line)#(P)Processthelinewrite_to_db(line)#(W)WritetheoutputtosomeIO(DBorfile)endend你看到了吗，我的小脚本正

  10. ruby - 异步读取 EventMachine 中的文件 - 2

    我使用RubyEventMachines已经有一段时间了，我想我已经了解它的基础知识了。但是，我不确定如何高效地读取大文件(120MB)。我的目标是逐行读取文件并将每一行写入Cassandra数据库(对于MySQL、PostgreSQL、MongoDB等也应该如此，因为Cassandra客户端明确支持EM)。这个简单的片段会阻塞react器，对吗？require'rubygems'require'cassandra'require'thrift_client/event_machine'EM.rundoFiber.newdorm=Cassandra.new('RankMetrics',

随机推荐