我有一个昂贵的函数，它接受并返回少量数据(一些整数和 float )。我已经memoized这个功能，但我想让备忘录持久化。已经有几个与此相关的线程，但我不确定某些建议方法的潜在问题，并且我有一些相当具体的要求:

• 我肯定会同时使用来自多个线程和进程的函数(同时使用 multiprocessing 和来自单独的 python 脚本)
• 我不需要从这个 python 函数外部读取或写入备忘录
• 我不太担心备忘录在极少数情况下被损坏(例如拔下插头或不小心写入文件而未锁定)，因为重建并不昂贵(通常为 10 -20 分钟)，但我更希望它不会因为异常而损坏，或者手动终止 python 进程(我不知道这有多现实)
• 我非常喜欢不需要大型外部库的解决方案，因为我将在一台机器上运行代码的硬盘空间非常有限
• 我不太喜欢跨平台代码，但我可能只会在 Linux 上使用它

This thread讨论了 shelve 模块，它显然不是进程安全的。其中两个答案建议使用 fcntl.flock 来锁定搁置文件。 this thread中的部分回复, 然而，似乎暗示这充满了问题——但我不确定它们是什么。听起来好像这仅限于 Unix(虽然显然 Windows 有一个名为 msvcrt.locking 的等效项)，并且锁定只是“建议” - 即，它不会阻止我不小心写入未经检查的文件已被锁定。还有其他潜在的问题吗？写入文件副本并在最后一步替换主副本是否会降低损坏风险？

看起来不像dbm module会比搁置更好。我快速浏览了一下 sqlite3 , 但为此目的似乎有点矫枉过正。 This thread和 this one提到几个第 3 方库，包括 ZODB ，但是有很多选择，对于这个任务来说，它们都显得过于庞大和复杂。

有人有什么建议吗？

更新:kindall 在下面提到了 IncPy，它看起来确实很有趣。不幸的是，我不想回到 Python 2.6(我实际上使用的是 3.2)，而且使用 C 库(我大量使用 numpy 和 scipy 等)看起来有点笨拙。

kindall 的另一个想法很有启发性，但我认为将其适应多个进程会有点困难 - 我认为用文件锁定或数据库替换队列是最简单的。

再次查看 ZODB，它看起来确实非常适合这项任务，但我确实想避免使用任何额外的库。我仍然不完全确定简单地使用 flock 的所有问题是什么 - 我想一个大问题是进程是否在写入文件时终止，或者在释放锁之前终止？

因此，我采纳了 synthesizerpatel 的建议并使用了 sqlite3。如果有人感兴趣，我决定直接替换 dict ，它将其条目作为 pickle 存储在数据库中(我不打算在内存中保留任何内容，因为数据库访问和 pickling 足够快与我正在做的其他事情相比)。我确信有更有效的方法来做到这一点(我不知道我是否仍然有并发问题)，但这里是代码:

from collections import MutableMapping
import sqlite3
import pickle


class PersistentDict(MutableMapping):
    def __init__(self, dbpath, iterable=None, **kwargs):
        self.dbpath = dbpath
        with self.get_connection() as connection:
            cursor = connection.cursor()
            cursor.execute(
                'create table if not exists memo '
                '(key blob primary key not null, value blob not null)'
            )
        if iterable is not None:
            self.update(iterable)
        self.update(kwargs)

    def encode(self, obj):
        return pickle.dumps(obj)

    def decode(self, blob):
        return pickle.loads(blob)

    def get_connection(self):
        return sqlite3.connect(self.dbpath)

    def  __getitem__(self, key):
        key = self.encode(key)
        with self.get_connection() as connection:
            cursor = connection.cursor()
            cursor.execute(
                'select value from memo where key=?',
                (key,)
            )
            value = cursor.fetchone()
        if value is None:
            raise KeyError(key)
        return self.decode(value[0])

    def __setitem__(self, key, value):
        key = self.encode(key)
        value = self.encode(value)
        with self.get_connection() as connection:
            cursor = connection.cursor()
            cursor.execute(
                'insert or replace into memo values (?, ?)',
                (key, value)
            )

    def __delitem__(self, key):
        key = self.encode(key)
        with self.get_connection() as connection:
            cursor = connection.cursor()
            cursor.execute(
                'select count(*) from memo where key=?',
                (key,)
            )
            if cursor.fetchone()[0] == 0:
                raise KeyError(key)
            cursor.execute(
                'delete from memo where key=?',
                (key,)
            )

    def __iter__(self):
        with self.get_connection() as connection:
            cursor = connection.cursor()
            cursor.execute(
                'select key from memo'
            )
            records = cursor.fetchall()
        for r in records:
            yield self.decode(r[0])

    def __len__(self):
        with self.get_connection() as connection:
            cursor = connection.cursor()
            cursor.execute(
                'select count(*) from memo'
            )
            return cursor.fetchone()[0]

最佳答案

开箱即用的 sqlite3 提供 ACID .文件锁定容易出现使用 sqlite3 时不会出现的竞争条件和并发问题。

基本上，是的，sqlite3 比您需要的要多，但它不是一个巨大的负担。它可以在手机上运行，​​所以这不像是你 promise 运行一些野兽般的软件。这将节省您重新发明轮子和调试锁定问题的时间。

关于python - Python 中的持久内存，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/9320463/