草庐IT

memory-size

全部标签

python - 读取 Python 的 memory_profiler 的输出

我无法理解memory_profiler的输出。基本上,它看起来像这样:Filename:tspviz.pyLine#MemusageIncrementLineContents================================================734.589844MiB34.589844MiB@profile(precision=6)8defparse_arguments():934.917969MiB0.328125MiBa=[x**2forxinrange(10000)]在第9行我们可以清楚地看到,我们使用了一些内存。现在,我用sys.getsizeof

python - 值错误 : total size of new array must be unchanged

我正在尝试执行此URL中的代码.但是,我开始收到此错误:des=np.array(des,np.float32).reshape((1,128))ValueError:totalsizeofnewarraymustbeunchanged虽然我没有做任何重大改变。但我会粘贴我所做的:importscipyasspimportnumpyasnpimportcv2#Loadtheimagesimg=cv2.imread("image1.png")#Convertthemtograyscaleimgg=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)#SURFextra

python - 了解 Keras LSTM : Role of Batch-size and Statefulness

来源有多个来源解释了有状态/无状态LSTM以及我已经阅读过的batch_size的作用。我稍后会在我的帖子中提到它们:[1]https://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/[2]https://machinelearningmastery.com/stateful-stateless-lstm-time-series-forecasting-python/[3]http://philipperemy.github.io/keras-

Python 聊天 : delete variables to clean memory in functions?

我正在用python和twisted框架创建一个聊天守护进程。而且我想知道当多个用户连接时,我是否必须删除我的函数中创建的每个变量以从长远来看节省内存,或者这些变量是否会自动清除?这是我的代码的精简版本,用于说明我的观点:classChat(LineOnlyReceiver):LineOnlyReceiver.MAX_LENGTH=500deflineReceived(self,data):self.sendMessage(data)defsendMessage(self,data):try:message=data.split(None,1)[1]exceptIndexError:r

python - 如何使用 Python 多处理和 memory_profiler 分析多个子进程?

我有一个使用Pythonmultiprocessing生成多个worker的实用程序模块,我希望能够通过出色的memory_profiler跟踪它们的内存使用情况实用程序,它可以做我想做的一切——特别是随着时间的推移对内存使用情况进行采样并绘制最终结果(我不关心这个问题的逐行内存分析)。为了设置这个问题,我创建了一个更简单的脚本版本,它有一个辅助函数,可以分配类似于example的内存。在memory_profiler库中给出。worker如下:importtimeX6=10**6X7=10**7defworker(num,wait,amt=X6):"""Afunctionthatal

python - 如何在 keras fit_generator() 中定义 max_queue_size、workers 和 use_multiprocessing?

我正在使用GPU版本的keras在预训练网络上应用迁移学习。我不明白如何定义参数max_queue_size、workers和use_multiprocessing。如果我更改这些参数(主要是为了加快学习速度),我不确定每个时期是否仍然可以看到所有数据。max_queue_size:用于“预缓存”来自生成器的样本的内部训练队列的最大大小问题:这是指在CPU上准备了多少批处理?它与workers有什么关系?如何最佳定义?worker:并行生成批处理的线程数。批处理在CPU上并行计算,并即时传递到GPU以进行神经网络计算问题:如何确定我的CPU可以/应该并行生成多少批处理?use_mult

报错解决:RuntimeError: CUDA out of memory.

报错解决:RuntimeError:CUDAoutofmemory.问题分析解决其他报错原因参考文献问题在进行深度学习的模型训练时,经常会遇到显存溢出的报错:RuntimeError:CUDAoutofmemory.输出如下图所示:分析打开一个终端,输入以下命令查看GPU使用情况:nvidia-smi输出如下图所示:使用nvidia-htop可以进一步查看更为详细的内容。nvidia-htop:Atoolforenrichingtheoutputofnvidia-smi.可以通过下列代码进行安装:pip3installnvidia-htop打开一个终端,运行如下代码:nvidia-htop.p

python - RequestDataTooBig Request body exceeded settings.DATA_UPLOAD_MAX_MEMORY_SIZE

我正在尝试将base64编码的图像从客户端发送到django服务器,但是当图像大于2.5MB时,我得到:Requestbodyexceededsettings.DATA_UPLOAD_MAX_MEMORY_SIZE.Requestbodyexceededsettings.DATA_UPLOAD_MAX_MEMORY_SIZE.Requestbodyexceededsettings.DATA_UPLOAD_MAX_MEMORY_SIZE.Requestbodyexceededsettings.DATA_UPLOAD_MAX_MEMORY_SIZE.Requestbodyexceededs

python - Pandas groupby : get size of a group knowing its id (from . grouper.group_info[0])

在下面的代码片段中,data是一个pandas.DataFrame,indices是data的一组列>。使用groupby对数据进行分组后,我对组的ID感兴趣,但只对大小大于阈值(例如:3)的ID感兴趣。group_ids=data.groupby(list(data.columns[list(indices)])).grouper.group_info[0]现在,我如何在知道组ID的情况下找到大小大于或等于3的组?我只想要具有特定大小的组的ID。#TODO:filteroutidsfromgroup_idswhichcorrespondtogroupswithsizes

python - Pandas groupby : get size of a group knowing its id (from . grouper.group_info[0])

在下面的代码片段中,data是一个pandas.DataFrame,indices是data的一组列>。使用groupby对数据进行分组后,我对组的ID感兴趣,但只对大小大于阈值(例如:3)的ID感兴趣。group_ids=data.groupby(list(data.columns[list(indices)])).grouper.group_info[0]现在,我如何在知道组ID的情况下找到大小大于或等于3的组?我只想要具有特定大小的组的ID。#TODO:filteroutidsfromgroup_idswhichcorrespondtogroupswithsizes