草庐IT

并发性

全部标签

go - 如何将多个并发请求分配给 aws lambda 函数?

我想构建一个类似cronjob的系统,从数据库中获取所有用户并为每个用户发出多个(我的意思是很多)并发请求并执行一些操作并将结果保存到数据库。它将在每天7月24日每小时运行一次。我想出的解决方案是:从数据库中获取所有用户(这是简单的部分)动态创建lambda函数并将所有用户分配给这些函数每个lambda函数发出并发请求和执行(处理结果并将它们保存到数据库)在需要时通过SNS传达这些功能那么,我的方法对这种情况有意义吗?这里最重要的是扩展(这就是为什么我想将所有用户分配给lambda函数,以限制并发请求和资源),我们如何才能提出一个可扩展且高效的想法来实现用户数量的指数级增长?或者有其他

database - 如何解决多并发时的TIME_WAIT状态问题?

如果我在Windows上运行下面的示例,我将很快达到TCP连接限制(我设置为64k)并得到错误:dialtcp127.0.0.1:3306:connectex:每个套接字地址只有一个用法(协议(protocol)/网络地址/端口)通常是允许的。我看到所有这些TIME_WAIT状态都在等待生命周期结束:netstat-ano|findstr3306为什么不立即关闭连接?代码:packagemainimport(_"github.com/go-sql-driver/mysql""github.com/jmoiron/sqlx""log""sync")var(db_instance*sqlx

go - 使用 redigo 池时并发后 TIME_WAIT 太多

我将github.com/garyburd/redigo用于我的应用程序go例程,同时读取和写入Redis。我在单例模式中使用了redigoNewRedisClient(),并设置了MAXACTIVE=100,MAXIDLE=100,IDLETIMEOUT=60。应用程序启动后,我发现Redis服务器的TIME_WAIT越来越多。喜欢:root@goofy-27253489-lax5m:/#netstat-anltp|grepTIME_WAIT|wc-l10466root@goofy-27253489-lax5m:/#netstat-anltp|grepTIME_WAIT|wc-l11

elasticsearch - 并发文件解析并插入到 Elastic Search 中

我最近在玩Go,想出了一个小脚本来解析日志文件并将它们插入到Elasticsearch中。对于每个文件,我都生成了一个这样的goroutine:varwg:=sync.WaitGroup{}wg.Add(len(files))for_,file:=rangefiles{gofunc(fos.FileInfo){deferwg.Done()ProcessFile(f.Name(),config.OriginFilePath,config.WorkingFilePath,config.ArchiveFilePath,fmt.Sprintf("http://%v:%v",config.Ela

go - 并发读取文件的最佳方式

所以我有这样一个文件:NAME:a280COMMENT:drillingproblem(Ludwig)TYPE:TSPDIMENSION:280EDGE_WEIGHT_TYPE:EUC_2DNODE_COORD_SECTION128814922881293270133425614152561576246157723616982281699228161102201691121216912204169131961691418816915196161等等……数字是城市解决TSP的绳索。我正在尝试用Golang编写这个。现在这些实例可以像200个城市,甚至40.000个城市。我想获得最好的解决

sockets - Golang 将 gopacket udpLayer 转换为字节并发送

我正在使用gopacket/layersapi从数据包中提取更新数据,然后通过另一个udp流再次发送它,我不确定这样做是否正确,如果有人可以的话,我也会遇到一些错误给我指出正确的方向,那太好了我的代码conn,err:=net.Dial("udp",1.1.1.1)udp,_:=updpLayer.(*layers.UDP)/*nowifisenditlikethis*/conn.Write(udp)/*igettheerrors:cannotuseudp(type*layers.UDP)astype[]byteinargumenttoconn.Write*//*Itriedtocon

go - Go中的有限并发连接

我在Go中有以下基本的http服务器。对于每个传入请求,它都会发布5个传出http请求。他们每个人大约需要3-5秒。我无法在8gigRam、四核机器上达到超过200个请求/秒。packagemainimport("flag""fmt""net/http"_"net/url"//"io/ioutil""time""log""sync"//"os""io/ioutil")//Jobholdstheattributesneededtoperformunitofwork.typeJobstruct{NamestringDelaytime.Duration}funcrequestHandler(

go - 实现并发运行的 "done"模式但不起作用

我尝试在Go中实现“完成”模式以将错误通知给其他channel:这是我的代码:packagemainimport("fmt""time")funcparse(done>done这是我的可执行链接:PlayGolangURL但是当我运行时,我没有看到“streamclosed”这一行。请为我解释原因。 最佳答案 如果您运行的代码足够多,您会看到streamclosed。运行如下代码并检查日志文件:forIin`seq110`;dogorunmain.go>>./res.log2>&1;done我尝试用代码解释发生了什么。首先,defe

caching - channel 并发保证

我正在写一个并发安全的备忘录:packagemuimport("sync")//Funcrepresentsamemoizablefunction,operatingonastringkey,tousewithaMutypeFuncfunc(keystring)interface{}//Muisacachethatmemoizesresultsofanexpensivecomputation////Ithasatraditionalimplementationusingmutexes.typeMustruct{//guardsdonemusync.RWMutexdonemap[stri

go - gotour并发教程中为什么需要goroutines的解释

我无法理解goroutines和channels在go之旅中的使用。引用以下代码:"https://tour.golang.org/concurrency/2"packagemainimport"fmt"funcsum(s[]int,cchanint){sum:=0for_,v:=ranges{sum+=v}c它使用前面带有“go”关键字的goroutines运行求和函数,但它们所做的只是将值发送到channel。它们不应该与goroutines一起运行。但是,当删除go关键字以正常运行函数时,出现此错误:fatalerror:allgoroutinesareasleep-deadlo