草庐IT

并行处理

全部标签

go - Apache Beam - 使用 Go SDK 进行 API 调用的批处理元素?

我正在使用GoSDK构建Beam管道。我必须通过调用云端某处的ML模型来丰富数据。由于我要处理很多元素,我不能只对每个元素进行API调用,这会引入巨大的延迟。我需要发送一批元素。我知道在python中有一个BatchElements()PTransform,如何在Go中制作类似的东西? 最佳答案 目前BeamGoSDK中没有这样的转换。您需要翻译GroupIntoBatches[1,2]实现到Go代码中。这将是对ApacheBeam的宝贵贡献,因此如果您这样做,请贡献它。 关于go-Ap

http - 自定义 Go 的 http 库中的现有处理程序

根据http库中的说明定义以下内容:funcHandle(patternstring,handlerHandler)typeHandlerinterface{ServeHTTP(*Conn,*Request)}我如何通过给它一个额外的参数(并告诉它如何处理参数)来改进现有的处理程序(例如,websocket.Draft75Handler)?我正在尝试创建一个处理程序,其中包含channel的一端。它将使用该channel与程序的其他部分对话。我怎样才能让该channel进入处理函数?如果这是一个愚蠢的问题,我们深表歉意。我是新手,决定通过阅读教程来学习,然后直接跳到代码中。感谢您的帮助

Go Web 服务器无法正确处理/删除/模式化

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭9年前。Improvethisquestion我刚刚玩了一个googleGO官方例子WritingWebApplications我试图添加删除页面的功能,但没有成功。原因是,如果您将"/delete/"作为参数传递给http.HandleFunc()函数,您总是会收到404Pagenotfound。任何其他"foobar"字符串都按预期工作。简化代码:packagemainimport("fmt""net/http")funchandl

json - 如何在 Go 中处理 JSON 动态键

如果我有这样的json:{"phonenumber":"3456789",emoji:{"emoji1":"12","emoji2":"23",...}这是一个二级JSON,emoji里面的键值是动态生成的,也就是说键名是不固定的,键值对的个数会随之变化。那么将此JSON编码为Go结构的语法是什么? 最佳答案 使用map:typeDatastruct{PhoneNumberstring`json:"phonenumber"`Emojimap[string]string`json:"emoji"`}playgroundlink

go - 保存并行化 goroutine 的结果

我正在尝试在golang中并行化一个操作并以一种我可以迭代以总结后记的方式保存结果。我已经成功地设置了参数,因此不会发生死锁,并且我已经确认操作正在运行并在函数中正确保存。当我遍历我的结构的Slice并尝试总结操作的结果时,它们都保持为0。我尝试过通过引用、指针和channel传递(导致死锁)。我只找到这个例子来寻求帮助:https://golang.org/doc/effective_go.html#parallel.但这现在似乎已经过时了,因为Vector已经被弃用了?我也没有找到任何关于此函数(在示例中)构造方式的引用(名称前带有func(uVector))。我尝试用Slice替

unit-testing - 在 golang 中重置 http 处理程序以进行单元测试

我正在golang中测试一个http服务器,除了一件烦人的事情外,一切看起来都很顺利。在某些时候,当我配置服务器时,在执行http.ListenAndServe之前,我使用http.Handle("/",myrouter)注册了一个处理程序,问题是在下面的测试中,当再次调用配置方法时,我收到以下panic:panic:http:multipleregistrationsfor/[recovered]我想在干净的环境中运行每个测试,但还没有找到拆除http.DefaultServeMux的方法,有没有一种方便的方法可以通过“无效”来做到这一点或者重新配置测试环境,以便每个测试都在新环境中

google-app-engine - 在 Google App Engine 中处理 HTTPS 请求

在GAE中我只使用默认域名:https://*.appspot.com,所以我不需要生成自签名证书。GoogleAppEngine文档指定了应如何配置app.yaml来提供SSL连接:https://cloud.google.com/appengine/docs/standard/go/config/appref#handlers_secure但为了在Go中提供HTTPS连接,我编写了以下代码示例,其中我需要指定证书的文件名:import("net/http")funcmain(){gohttp.ListenAndServeTLS(Address,"cert.pem","key.pem

testing - 如何在单元测试中处理新服务器功能

对我来说,单元测试有工作量。所以我使用gotests生成样板测试代码案例。server.gofuncNewServer(cfg*Config,lnet.Listener,driverDriver,dbstore.Store)*Server{s:=&Server{cfg:cfg,listener:l,leader:"",driver:driver,db:db,}s.server=&http.Server{Handler:s.createMux(),}returns}gotests生成server_test.go:funcTestNewServer(t*testing.T){fakeCfg

http - 不在 net/http golang 中处理 GET

我正试图关闭在golang中处理GET请求。我只想处理POST。可以吗?这样做的原因是,每当我转到localhost:8080并多次刷新页面时,我可以看到越来越多的内存被golang分配。这是我的测试代码:packagemainimport("fmt""net/http""encoding/json")typetest_structstruct{Teststring}varttest_structfunchandlePOST(rwhttp.ResponseWriter,req*http.Request){switchreq.Method{case"POST":decoder:=json

go - 处理 "too many open files"的最佳方法是什么?

我正在构建一个抓取器,它获取一个URL,从中提取链接,并以一定的深度访问每个链接;在特定站点上制作路径树。我为这个爬虫实现并行性的方式是,一旦找到每个新发现的URL,我就会像这样访问它:funcmain(){link:="https://example.com"wg:=new(sync.WaitGroup)wg.Add(1)q:=make(chanstring)godeduplicate(q,wg)q这对于相对较小的网站来说效果很好,但是当我在一个到处都有很多链接的大网站上运行它时,我开始在某些请求中遇到以下两个错误之一:socket:toomanyopenfiles和nosuchho