Go 程序运行时，有些场景下会导致进程进入某个“高点”，然后就再也下不来了。
比如，多年前曹大写过的一篇文章讲过，在做活动时线上涌入的大流量把 goroutine 数抬升了不少，流量恢复之后 goroutine 数也没降下来，导致 GC 的压力升高，总体的 CPU 消耗也较平时上升了 2 个点左右。
有一个 issue 讨论为什么 allgs（runtime 中存储所有 goroutine 的一个全局 slice） 不收缩，一个好处是：goroutine 复用，让 goroutine 的创建更加得便利，而这也正是 Go 语言的一大优势。
最近在看《100 mistakes》，书里专门有一节讲 map 的内存泄漏。其实这也是另一个在经历大流量后，无法“恢复”的例子：map 占用的内存“只增不减”。
之前写过的一篇《深度解密 Go 语言之 map》里讲到过 map 的内部数据结构，并且分析过创建、遍历、删除的过程。
在 Go runtime 层，map 是一个指向 hmap 结构体的指针，hmap 里有一个字段 B，它决定了 map 能存放的元素个数。
hamp 结构体代码如下：
type hmap struct {
count int
flags uint8
B uint8
// ...
}
若我们想初始化一个长度为 100w 元素的 map，B 是多少呢？
用 B 可以计算 map 的元素个数：loadfactor * 2^B，loadfactor 目前是 6.5，当 B=17 时，可放 851,968 个元素；当 B=18，可放 1,703,936 个元素。因此当我们将 map 的长度初始化为 100w 时，B 的值应是 18。
loadfactor 是装载因子，用来衡量平均一个 bucket 里有多少个 key。
如何查看占用的内存数量呢？用 runtime.MemStats：
package main
import (
"fmt"
"runtime"
)
const N = 128
func randBytes() [N]byte {
return [N]byte{}
}
func printAlloc() {
var m runtime.MemStats
runtime.ReadMemStats(&m)
fmt.Printf("%d MB\n", m.Alloc/1024/1024)
}
func main() {
n := 1_000_000
m := make(map[int][N]byte, 0)
printAlloc()
for i := 0; i < n; i++ {
m[i] = randBytes()
}
printAlloc()
for i := 0; i < n; i++ {
delete(m, i)
}
runtime.GC()
printAlloc()
runtime.KeepAlive(m)
}
如果不加最后的 KeepAlive，m 会被回收掉。
当 N = 128 时，运行程序：
$ go run main2.go
0 MB
461 MB
293 MB
可以看到，当删除了所有 kv 后，内存占用依然有 293 MB，这实际上是创建长度为 100w 的 map 所消耗的内存大小。当我们创建一个初始长度为 100w 的 map：
package main
import (
"fmt"
"runtime"
)
const N = 128
func printAlloc() {
var m runtime.MemStats
runtime.ReadMemStats(&m)
fmt.Printf("%d MB\n", m.Alloc/1024/1024)
}
func main() {
n := 1_000_000
m := make(map[int][N]byte, n)
printAlloc()
runtime.KeepAlive(m)
}
运行程序，得到 100w 长度的 map 的消耗的内存为：
$ go run main3.go
293 MB
这时有一个疑惑，为什么在向 map 写入了 100w 个 kv 之后，占用内存变成了 461MB？
我们知道，当 val 大小 <= 128B 时，val 其实是直接放在 bucket 里的，按理说，写入 kv 与否，这些 bucket 占用的内存都在那里。换句话说，写入 kv 之后，占用的内存应该还是 293MB，实际上却是 461MB。
这里的原因其实是在写入 100w kv 期间 map 发生了扩容，buckets 进行了搬迁。我们可以用 hack 的方式打印出 B 值：
func main() {
//...
var B uint8
for i := 0; i < n; i++ {
curB := *(*uint8)(unsafe.Pointer(uintptr(unsafe.Pointer(*(**int)(unsafe.Pointer(&m)))) + 9))
if B != curB {
fmt.Println(curB)
B = curB
}
m[i] = randBytes()
}
//...
runtime.KeepAlive(m)
}
运行程序，B 值从 1 一直变到 18。搬迁的过程可以参考前面提到的那篇 map 文章，这里不再赘述。
而如果我们初始化的时候直接将 map 的长度指定为 100w，那内存变化情况为：
293 MB
293 MB
293 MB
当 val 小于 128B 时，初始化 map 后内存占用量一直不变。原因是 put 操作只是在 bucket 里原地写入 val，而 delete 操作则是将 val 清零，bucket 本身还在。因此，内存占用大小不变。
而当 val 大小超过 128B 后，bucket 不会直接放 val，转而变成一个指针。我们将 N 设为 129，运行程序：
0 MB
197 MB
38 MB
虽然 map 的 bucket 占用内存量依然存在，但 val 改成指针存储后内存占用量大大降低。且 val 被删掉后，内存占用量确实降低了。
总之，map 的 buckets 数只会增，不会降。所以在流量冲击后，map 的 buckets 数增长到一定值，之后即使把元素都删了也无济于事。内存占用还是在，因为 buckets 占用的内存不会少。
对于 map 内存泄漏的解法：
好在一般有大流量冲击的互联网业务大都是 toC 场景，上线频率非常高。有的公司能一天上线好几次，在问题暴露之前就已经重启恢复了，问题不大。
作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代
ruby如何管理内存。例如:如果我们在执行过程中采用C程序，则以下是内存模型。类似于这个ruby如何处理内存。C:__________________|||stack|||------------------||||------------------|||||Heap|||||__________________|||data|__________________|text|__________________Ruby:? 最佳答案 Ruby中没有“内存”这样的东西。Class#allocate分配一个对象并返回该对象。这就是程序
在启用Rack::Deflater来gzip我的响应主体时偶然发现了一些奇怪的东西。也许我遗漏了一些东西，但启用此功能后，响应被压缩，但是资源的ETag在每个请求上都会发生变化。这会强制应用程序每次都响应，而不是发送304。这在没有启用Rack::Deflater的情况下有效，我已经验证页面源没有改变。我正在运行一个使用thin作为Web服务器的Rails应用程序。Gemfile.lockhttps://gist.github.com/2510816有没有什么方法可以让我从Rack中间件获得更多的输出，这样我就可以看到发生了什么？提前致谢。 最佳答案
所以我想到了这个，想知道当下面的一些事情完成后会发生什么。classTestdefself.abcattr_accessor:Johnendendobject=Test.newputs"beforecallingclassmethodabc:#{object.class.instance_methods(false)}"Test.abcputs"aftercallingclassmethodabc:#{object.class.instance_methods(false)}"这里我检查的是，getter和setter方法是否以这种方式创建。如果是这样，是那些实例方法或类方法。首先我创
你好，我无法成功如何在散列中删除key后释放内存。当我从哈希中删除键时，内存不会释放，也不会在手动调用GC.start后释放。当从Hash中删除键并且这些对象在某处泄漏时，这是预期的行为还是GC不释放内存？如何在Ruby中删除Hash中的键并在内存中取消分配它？例子:irb(main):001:0>`ps-orss=-p#{Process.pid}`.to_i=>4748irb(main):002:0>a={}=>{}irb(main):003:0>1000000.times{|i|a[i]="test#{i}"}=>1000000irb(main):004:0>`ps-orss=-p
这会导致Ruby出现内存问题吗？我知道如果大小超过10KB，Open-URI会写入TempFile。但是HTTParty会在写入TempFile之前尝试将整个PDF保存到内存吗？src=Tempfile.new("file.pdf")src.binmodesrc.writeHTTParty.get("large_file.pdf").parsed_response 最佳答案 您可以使用Net::HTTP。参见thedocumentation(特别是标题为“流媒体响应机构”的部分)。这是文档中的示例:uri=URI('http://e
这段代码没有像我预期的那样执行:casewhen->{false}then"why?"else"ThisiswhatIexpect"end#=>"why?"这也不是casewhen->(x){false}then"why?"else"ThisiswhatIexpect"end#=>"why?"第一个then子句在两种情况下都被执行，这意味着我提供给when子句的lambda没有被调用。我知道无论when子句的主题是什么，都应该调用大小写相等运算符===。我想知道当没有为case提供参数时，===的另一边会发生什么。我在想它可能是nil，但它不可能是:->{false}===nil#=>
如何使用Ruby(和Rails，如果有相关的辅助方法)获取最近发生的星期三？最终需要实际日期(5/1/2013)。 最佳答案 time=Time.nowdays_to_go_back=(time.wday+4)%7last_wed=days_to_go_back.days.ago 关于ruby-on-rails-获取最近发生的星期三？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions
在部署在heroku上的Rails应用程序(v:3.1)中，我在内存中获得了更多具有相同ID的对象。我的heroku控制台日志:>>Project.find_all_by_id(92).size=>2>>ActiveRecord::Base.connection.execute('select*fromprojectswhereid=92').to_a.size=>1这怎么可能？可能是什么问题？ 最佳答案 解决方案根据您的SQL查询，您的数据库中显然没有重复条目。也许您的类项目中的size或length方法已被覆盖。我试过find_
我的两个不同的Rails应用程序的内存有一些奇怪的问题。这两个应用程序都使用rails3.0.7。每个Controller请求分配20-30-50MB的内存。在生产模式下，这个数量减少到5-10。但这是同样的事情。这是两个应用程序使用的gem列表:gem'pg'gem'haml'gem'sass'gem'devise'gem'simple_form'gem'state_machine'gem"globalize3","0.1.0.beta"gem"easy_globalize3_accessors"gem'paperclip'gem'andand'关闭所有这些gem不会给我任何结果。我