我在让 Go 与 SQLite 很好地配合使用时遇到了问题。我过去修复它没有问题，但已经有一段时间了，我不记得我做了什么让它正常工作。我正在使用 mattn/go-sqlite3包来处理并将大量数据插入 SQLite 数据库，但不知何故，Go 总是最终吃掉我所有的 RAM，直到它最终以错误状态代码退出。为了确保我已将内存不足问题隔离到 SQLite，我编写了以下简单程序来测试它:

package main

import (
    "database/sql"
    "fmt"
    "log"
    _ "github.com/mattn/go-sqlite3"
)

func main() {
    db, err := sql.Open("sqlite3", "./test.db"); if err != nil {
        log.Fatal(err)
    }; defer db.Close()

    ddl := `
        PRAGMA automatic_index = ON;
        PRAGMA cache_size = 32768;
        PRAGMA cache_spill = OFF;
        PRAGMA foreign_keys = ON;
        PRAGMA journal_size_limit = 67110000;
        PRAGMA locking_mode = NORMAL;
        PRAGMA page_size = 4096;
        PRAGMA recursive_triggers = ON;
        PRAGMA secure_delete = ON;
        PRAGMA synchronous = NORMAL;
        PRAGMA temp_store = MEMORY;
        PRAGMA journal_mode = WAL;
        PRAGMA wal_autocheckpoint = 16384;

        CREATE TABLE IF NOT EXISTS "user" (
            "id" TEXT,
            "username" TEXT,
            "password" TEXT
        );

        CREATE UNIQUE INDEX IF NOT EXISTS "id" ON "user" ("id");
    `

    _, err = db.Exec(ddl); if err != nil {
        log.Fatal(err)
    }

    queries := map[string]*sql.Stmt{}

    queries["user"], _ = db.Prepare(`INSERT OR REPLACE INTO "user" VALUES (?, ?, ?);`); if err != nil {
        log.Fatal(err)
    }; defer queries["user"].Close()

    tx, err := db.Begin(); if err != nil {
        log.Fatal(err)
    }

    for i := 0; i < 10000000; i++ {
        user := map[string]string{
            "id": string(i),
            "username": "foo",
            "password": "bar",
        }

        _, err := tx.Stmt(queries["user"]).Exec(user["id"], user["username"], user["password"]); if err != nil {
            log.Fatal(err)
        }

        if i % 32768 == 0 {
            tx.Commit()
            db.Exec(`PRAGMA shrink_memory;`)

            tx, err = db.Begin(); if err != nil {
                log.Fatal(err)
            }

            fmt.Println(i)
        }
    }

    tx.Commit()
}

当我运行上面的代码时，Go 每秒消耗超过 100 MiB 的内存而没有每次释放任何内存，大约一分钟后，它最终消耗了 6/7 GiB，然后进程被终止。我尝试了定义和不定义 SQLite PRAGMA 的变体，但没有运气。

根据定义的 PRAGMA，SQLite 永远不应使用超过 128 MiB 的 RAM。

我犯了什么错误，或者 mattn/go-sqlite3 或 Go GC 有什么问题吗？

根据 these instructions 使用 davecheney/profile 进行分析产生这个不太有用的输出:

alix@900X4C:~/Go/src$ go tool pprof --text ./test /tmp/profile102098478/mem.pprof
Adjusting heap profiles for 1-in-4096 sampling rate
Total: 0.0 MB
     0.0 100.0% 100.0%      0.0 100.0% runtime.allocm
     0.0   0.0% 100.0%      0.0 100.0% database/sql.(*DB).Exec
     0.0   0.0% 100.0%      0.0 100.0% database/sql.(*DB).conn
     0.0   0.0% 100.0%      0.0 100.0% database/sql.(*DB).exec
     0.0   0.0% 100.0%      0.0 100.0% github.com/mattn/go-sqlite3.(*SQLiteDriver).Open
     0.0   0.0% 100.0%      0.0 100.0% github.com/mattn/go-sqlite3._Cfunc_sqlite3_threadsafe
     0.0   0.0% 100.0%      0.0 100.0% main.main
     0.0   0.0% 100.0%      0.0 100.0% runtime.cgocall
     0.0   0.0% 100.0%      0.0 100.0% runtime.gosched0
     0.0   0.0% 100.0%      0.0 100.0% runtime.main
     0.0   0.0% 100.0%      0.0 100.0% runtime.newextram

这只是 1000000 次迭代，内存仍在增长，就像没有明天一样。

我还在两台 MacBook Pro 上尝试了相同的代码，它们都运行来自 brew (1.3.1) 的最新版本的 Go，其中一个的内存使用量超过 10 GiB，另一个平均 2 GiB 的 RAM 消耗。这看起来像是一种奇怪的行为，我该怎么做才能追踪差异并修复内存占用？

最佳答案

我无法重现您的结果。它使用大约 100 MiB 的内存。

$ go version
go version devel +7ab3adc146c9 Sun Oct 19 10:33:50 2014 -0700 linux/amd64
$ sqlite3 --version
3.8.2 2013-12-06 14:53:30 27392118af4c38c5203a04b8013e1afdb1cebd0d
$ go get -v github.com/mattn/go-sqlite3
github.com/mattn/go-sqlite3 (download)
github.com/mattn/go-sqlite3
$ go run simple.go
0
32768
65536
<SNIP>
9928704
9961472
9994240
$

runtime.MemStats 记录有关 Go 内存分配器的统计信息。它不包括由 SQLite 管理的内存。例如，在程序结束时，

var ms runtime.MemStats
runtime.ReadMemStats(&ms)
fmt.Println(
    ms.Alloc,      // bytes allocated and still in use
    ms.TotalAlloc, // bytes allocated (even if freed)
    ms.Sys,        // bytes obtained from system (sum of XxxSys below)
    ms.Mallocs,    // number of mallocs
    ms.Frees,      // number of frees
)

输出:

12161440 7953059928 18757880 160014535 159826250

它也适用于 Go 1.4 Beta 1

$ go version
go version go1.4beta1 linux/amd64

关于SQLite 3 没有在 Golang 中释放内存，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/26456253/