我在 go 中编写了一个数据移动器。获取位于一个数据中心的数据并将其移动到另一个数据中心。鉴于 go 例程，认为 go 将是完美的选择。
我注意到如果我有一个运行 1800 个线程的程序，那么传输的数据量真的很低
这是 dstat 平均超过 30 秒的打印结果
---load-avg--- ----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
1m 5m 15m |usr sys idl wai hiq siq| read writ| recv send| in out | int csw
0.70 3.58 4.42| 10 1 89 0 0 0| 0 156k|7306k 6667k| 0 0 | 11k 6287
0.61 3.28 4.29| 12 2 85 0 0 1| 0 6963B|8822k 8523k| 0 0 | 14k 7531
0.65 3.03 4.18| 12 2 86 0 0 1| 0 1775B|8660k 8514k| 0 0 | 13k 7464
0.67 2.81 4.07| 12 2 86 0 0 1| 0 1638B|8908k 8735k| 0 0 | 13k 7435
0.67 2.60 3.96| 12 2 86 0 0 1| 0 819B|8752k 8385k| 0 0 | 13k 7445
0.47 2.37 3.84| 11 2 86 0 0 1| 0 2185B|8740k 8491k| 0 0 | 13k 7548
0.61 2.22 3.74| 10 2 88 0 0 0| 0 1229B|7122k 6765k| 0 0 | 11k 6228
0.52 2.04 3.63| 3 1 97 0 0 0| 0 546B|1999k 1365k| 0 0 |3117 2033
如果我运行 9 个程序实例，每个实例有 200 个线程，我会看到更好的性能
---load-avg--- ----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
1m 5m 15m |usr sys idl wai hiq siq| read writ| recv send| in out | int csw
8.34 9.56 8.78| 53 8 36 0 0 3| 0 410B| 38M 32M| 0 0 | 41k 26k
8.01 9.37 8.74| 74 10 12 0 0 4| 0 137B| 51M 51M| 0 0 | 59k 39k
8.36 9.31 8.74| 75 9 12 0 0 4| 0 1092B| 51M 51M| 0 0 | 59k 39k
6.93 8.89 8.62| 74 10 12 0 0 4| 0 5188B| 50M 49M| 0 0 | 59k 38k
7.09 8.73 8.58| 75 9 12 0 0 4| 0 410B| 51M 50M| 0 0 | 60k 39k
7.40 8.62 8.54| 75 9 12 0 0 4| 0 137B| 52M 49M| 0 0 | 61k 40k
7.96 8.63 8.55| 75 9 12 0 0 4| 0 956B| 51M 51M| 0 0 | 59k 39k
7.46 8.44 8.49| 75 9 12 0 0 4| 0 273B| 51M 50M| 0 0 | 58k 38k
8.08 8.51 8.51| 75 9 12 0 0 4| 0 410B| 51M 51M| 0 0 | 59k 39k
平均负载有点高，但我稍后会担心。尽管网络流量几乎达到了网络潜力。
我在 Ubuntu 12.04 上， 8 兆内存， 2.3 GHz 处理器(说 EC2 :P)
此外，我已将文件描述符从 1024 增加到 10240
我认为 go 是为这种事情而设计的，还是我对这个应用程序的期望太高了？
我是否缺少一些微不足道的东西？我是否需要配置我的系统以最大限度地发挥 Go 的潜力？
编辑
我想我的问题不够清楚。对不起。我不是在要求魔法，我知道计算机对它们可以处理的事情有限制。 所以我会重新措辞。为什么 1 个实例有 1800 个 go 例程!= 9 个实例，每个实例有 200 个线程？与 9 个实例相比，相同数量的 go routines 1 个实例的性能显着降低。
最佳答案
请注意，goroutines 也仅限于您本地的机器，并且 channel 本身不支持网络，即您的特定情况可能不是 biting go 的巧克力网站。
另外:您对(假设)将每次传输都扔进 goroutine 有什么期望？ IO-Operations 往往在比特撞击金属的地方有瓶颈，即数据到介质的物理传输。可以这样想:无论有多少线程或(在本例中为 Goroutine)尝试写入 Networkcard，您仍然只有一个 Networkcard。很可能用许多并发的写调用来打它只会减慢速度，因为涉及的开销增加了
如果您认为这不是问题，或者想审核您的代码以获得优化的性能，go 有简洁的内置功能可以做到这一点:profiling go programs (official go blog) 但实际的瓶颈仍然很可能在您的 go 程序之外和/或它与操作系统交互的方式中。
在没有代码的情况下解决您的实际问题是毫无意义的猜测。发布一些，每个人都会尽力帮助您。
关于Go常规性能最大化，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18006533/
我需要用任何语言编写一个算法，根据3个因素对数组进行排序。我以度假村为例(如Hipmunk)。假设我想去度假。我想要最便宜的地方、最好的评论和最多的景点。但是，显然我找不到在所有3个中都排名第一的方法。Example(assumingthereare20importantattractions):ResortA:$150/night...98/100infavorablereviews...18of20attractionsResortB:$99/night...85/100infavorablereviews...12of20attractionsResortC:$120/night
下面有没有更优雅的方法来实现这个:输入:array=[1,1,1,0,0,1,1,1,1,0]输出:4我的算法:streak=0max_streak=0arr.eachdo|n|ifn==1streak+=1elsemax_streak=streakifstreak>max_streakstreak=0endendputsmax_streak 最佳答案 类似于w0lf'sanswer,但通过从chunk返回nil来跳过元素:array.chunk{|x|x==1||nil}.map{|_,x|x.size}.max
在Railcasts上，我注意到一个非常有趣的功能“转到符号”窗口。它像Command-T一样工作，但显示当前文件中可用的类和方法。如何在vim中获取它？ 最佳答案 尝试:helptags有各种程序和脚本可以生成标记文件。此外，标记文件格式非常简单，因此很容易将sed(1)或类似的脚本组合在一起，无论您使用何种语言，它们都可以生成标记文件。轻松获取标记文件(除了下载生成器之外)的关键在于格式化样式而不是实际解析语法。 关于ruby-on-rails-Textmate'Gotosymbol
我有一个页面，有时加载时间超过一分钟。假设这是预期的行为并且不会改变。在这些情况下，我得到Net::ReadTimeout。请注意，这是在通过单击上一页上的按钮导航到页面之后，而不是ajax请求。因此Capybara.using_wait_time没有帮助。我尝试了一些激进的方法(其中一些我知道行不通)，例如:设置page.driver.browser.manage.timeouts的implicit_wait、script_timeout和page_load。遍历整个对象空间并设置所有Selenium::WebDriver::Remote::Http::Default的timeout
我有一个散列，我想返回散列最大值的键(或键/值对)。所以，如果只有一个真正的最大值，它将返回那个键；但是，如果有多个具有相同值的键/值对，它将返回所有这些键。我如何在Ruby中完成此操作？my_hash.max_by{|k,v|v}#onlyreturnsonekey/valuepair 最佳答案 如果你想要所有对，我会做类似的事情max=my_hash.values.maxHash[my_hash.select{|k,v|v==max}] 关于Ruby-找到哈希最大值的键，我们在Sta
这是一个哈希值，用于跟踪我拥有的每种水果的数量fruits={"apples"=>10,"pears"=>15,"bananas"=>15,"grapes"=>12}我想知道哪种水果我吃得最多。如果有决胜局，则将它们全部归还。 最佳答案 #easymax_quantity=fruits.values.maxmax_fruits=fruits.select{|k,v|v==max_quantity}.keys#fastmax_quantity=-1.0/0.0max_fruits=[]fruits.eachdo|k,v|ifv>max
我有几个具有多个属性(A、B、C、D)的记录。我希望能够找到哪条记录对于给定属性(例如D)具有更高的值。我该怎么做？ 最佳答案 你可能会给出max_by一看。objects=[somearrayofobjects]object_with_highest_value=objects.max_by{|obj|obj.desired_value} 关于ruby-on-rails-如何在ruby中找到跨记录的最大属性？，我们在StackOverflow上找到一个类似的问题：
我正在寻找一种优雅的方法来获取包含两个数组之间最大值的数组。意思是如果有两个数组:a=[1,5,9]b=[3,2,11]结果应该是:=>[3,5,11]假设两个数组的大小相同。我使用的代码感觉不像是用Ruby的方式来完成这个任务:c=Array.new(a.size)foriin0...a.sizec[i]=[a[i],b[i]].maxend 最佳答案 这应该有效:[a,b].transpose.map(&:max)#=>[3,5,11]transpose返回[[1,3],[5,2],[9,11]]和map(&:max)找到每个子
简而言之，我的原始代码(用Ruby编写)如下所示:#$seenisahashtomemoizepreviouslyseensets#$sparseisahashofusernamestoalistofneighboringusernames#$setisthelistofoutputclusters$seen={}defsubgraph(set,adj)hash=(set+adj).sortreturnif$seen[hash]$sets.pushset.sort.join(",")ifadj.empty?andset.size>2adj.each{|node|subgraph(set
我一直在看maxmethod在Ruby的Enumerable混合(v2.4.1)。这是一个相当简单的方法，但是当存在重复项时它如何排序项目有点令人困惑。例如:x=[1,2,3,4,5,6,7,8,9]x.max{|a,b|a%2b%2}=>110.times{|y|px.max(y){|a,b|a%2b%2}}[][1][1,7]#whyis7thenextelementafter1?[3,1,5]#whynomore7?[7,3,1,5]#7isnowfirst[9,7,3,1,5][9,7,3,1,5,6][9,7,3,1,5,4,6][9,7,3,1,5,2,4,6][9,7,5