python-pyramid 应用程序内 stub 本没有释放

coder 2023-08-25 原文

如何解决这个内存泄漏问题？

我应该采取什么措施来清理旧的 session 对象？ session.close() 还不够吗？

或

和 Pyramid 有关吗？

Sqlalchmey setup:
----------------------------------------------------------------------------------
def get_db(request):
    maker = request.registry.dbmaker
    session = maker()

    @profile
    def cleanup(request):
        _session = request.db
        if request.exception is not None:
            _session.rollback()
        else:
            _session.commit()
        _session.close()
        # del _session     # No memory released

    request.add_finished_callback(cleanup)
    return session

def main(global_config, **settings):
    :
    :
    config.registry.dbmaker = sessionmaker(bind=engine)
    config.add_request_method(get_db, name='db', reify=True)
    :
    :

Pyramid 应用程序请求处理程序就像

@view_config(route_name='list_employees', renderer='json')
def employees(request):
   session = request.db
   office = session.query(Office).get(1)
   employees = [x.name for x in office.employees]
   return employees

现在的问题是，在每个对 list_employees 的请求中，内存都在增长。内存增加的大小几乎等于 office.employees.

的大小

调试:

request 1 starts with memory utilization = 10MB
request 1 ends with memory utilization = 18MB

request 2 starts with memory utilization = 18MB
request 2 ends with memory utilization = 26MB        

request 3 starts with memory utilization = 26MB
request 3 ends with memory utilization = 34MB        
                 :
                 :
           Grows eventually

employees = [x.name for x in office.employees]
This is the line where about 8-10MB memory utilized

为了调试，我在 Employ 和 Office 模型中添加了 __del__ 方法，看起来它们正在删除。

还尝试了 session.expunge(office)、del office 和 gc.collect()

我正在使用 https://pypi.python.org/pypi/memory_profiler 调试内存消耗我也在使用 https://pypi.python.org/pypi/transaction是其他请求。

不使用调试 Pyramid 工具栏。

编辑:发现此行的内存增加(employees = [x.name for x in office.employees])在 6-7 次请求后显示为零。但查询返回的行数相同。

编辑:添加了独立应用程序 https://github.com/Narengowda/pyramid_sqlalchemy_app

编辑:它与 SQLALCHEMY 完全无关(我的错)。编写了一个没有任何 sqlalchmey 查询的简单 View 函数。

class Test(object):

    def __init__(self):
        self.x = 'sdfklhasdjkfhasklsdkjflksdfksd' *1000
        self.y = 'sdfklhasdjkfhasklsdkjflksdfksd' *1000
        self.z = 'sdfklhasdjkfhasklsdkjflksdfksd' *1000
        self.i = 'sdfklhasdjkfhasklsdkjflksdfksd' *1000
        self.v = 'sdfklhasdjkfhasklsdkjflksdfksd' *1000
        self.o = 'sdfklhasdjkfhasklsdkjflksdfksd' *1000


@view_config(route_name='home', renderer='json')
def my_view(request):
    return test(request)

@profile
def test(request):
    count = request.GET.get('count')
    l = [Test() for i in range(int(count))]
    print l[0]
    return {}

我能看到这个，下面是请求的日志