草庐IT

gpu-constant-memory

全部标签

python - 如何使用 TensorFlow GPU?

如何在Python3.6x64中使用TensorFlowGPU版本而不是CPU版本?importtensorflowastfPython正在使用我的CPU进行计算。我可以注意到它,因为我有一个错误:YourCPUsupportsinstructionsthatthisTensorFlowbinarywasnotcompiledtouse:AVX2我已经安装了tensorflow和tensorflow-gpu。如何切换到GPU版本? 最佳答案 按照本教程TensorflowGPU我做到了,效果很好。注意!-安装9.0版!Tensorf

python - GPU 上的 tf.reduce_sum 结合占位符作为输入形状失败

更新:在Tensorflow1.14.0中修复(可能更早,没有检查)更新:仍在Tensorflow1.7.0中发生更新:我写了一个协作笔记本,在google的gpu硬件上重现了这个bug:https://drive.google.com/file/d/13V87kSTyyFVMM7NoJNk9QTsCYS7FRbyz/view?usp=sharing更新:在这个问题的第一个修订版中错误地指责tf.gather之后,我现在将其缩小到tf.reduce_sum并结合占位符作为形状:tf.reduce_sum为形状取决于占位符的大张量生成零(仅在GPU上)。在向占位符batch_size(在

python - Python:重写循环的numpy数学函数以在GPU上运行

有人可以帮我重写这一功能(doTheMath函数)以在GPU上进行计算吗?我现在花了好几天试图设法解决这个问题,但是没有结果。我想知道也许有人会以您认为适合日志的任何方式帮助我重写此函数,因为最后我给出的结果相同。我尝试使用@jit中的numba,但由于某种原因,它实际上比正常运行代码要慢得多。样本量巨大,目标是大幅减少执行时间,因此自然而然地相信GPU是最快的执行方法。我会解释一些实际情况。实际数据看上去与下面的代码中创建的样本数据几乎相同,被划分为每个样本大约5.000.000行或每个文件大约150MB的样本大小。总共大约有600.000.000行或20GB的数据。我必须遍历该数据

python - 为什么 Python `Memory Error` 和列表 `append()` 剩余大量 RAM

我正在从一组文本文件构建一个大型数据字典。当我阅读并处理它们时,我append(dataline)到一个列表中。在某些时候,append()会产生MemoryError异常。但是,在Windows任务管理器中查看程序运行时,我看到崩溃时有4.3GB可用空间和1.1GB可用空间。因此,我不明白异常的原因。Python版本是2.6.6。我想,唯一的原因是它无法使用更多的可用RAM。如果是这样,是否可以增加分配? 最佳答案 如果您使用的是32位版本的Python,您可能需要尝试64位版本。一个进程可以使用32位地址来寻址最多4GB的RAM

Python 相当于 PHP 的 memory_get_usage()?

我已经foundthefollowingquestion,但我想知道是否有一种更快更脏的方法来估计python解释器当前为我的脚本使用了多少内存,而不依赖于外部库。我来自PHP,曾经使用memory_get_usage()和memory_get_peak_usage()为此做了很多,我希望能找到一个等价物。 最佳答案 使用/proc/self/status的Linux和其他系统的简单解决方案是以下代码,我在我的项目中使用:defmemory_usage():"""Memoryusageofthecurrentprocessinkil

Python matplotlib : memory not being released when specifying figure size

我正在使用matplotlib生成许多数值模拟结果图。这些图用作视频中的帧,因此我通过重复调用类似于此的函数来生成其中的许多:frompylabimport*defplot_density(filename,i,t,psi_Na):figure(figsize=(8,6))imshow(abs(psi_Na)**2,origin='lower')savefig(filename+'_%04d.png'%i)clf()问题在于,每次调用此函数时,python进程的内存使用量都会增加几兆字节。例如,如果我用这个循环调用它:if__name__=="__main__":x=linspace(

python - scikit-learn 会使用 GPU 吗?

在TensorFlow中读取scikit-learn的实现:http://learningtensorflow.com/lesson6/和scikit-learn:http://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html我正在努力决定使用哪个实现。scikit-learn作为tensorflowdocker容器的一部分安装,因此可以使用任一实现。使用scikit-learn的原因:scikit-learncontainslessboilerplatethanthetensorflowimpl

python - 如何避免【Errno 12】使用子进程模块导致的Cannot allocate memory错误

完整的工作测试用例当然,根据您在本地和远程计算机上的内存,您的数组大小会有所不同。z1=numpy.random.rand(300000000,2);foriinrange(1000):print('*******************************************\n');direct_output=subprocess.check_output('sshblah@blah"ls/"',shell=True);direct_output='a'*1200000;a2=direct_output*10;print(len(direct_output));当前用例如果

python - 了解 Python 中的多处理 : Shared Memory Management, 锁和队列

Multiprocessing是python中一个强大的工具,我想更深入地了解它。我想知道什么时候使用regularLocks和Queues以及何时使用多处理Manager在所有进程之间共享这些。我想出了以下测试场景,其中包含四种不同的多处理条件:使用池和NO经理使用池和管理器使用单独的流程和NO经理使用单独的流程和经理工作所有条件都执行一个作业函数the_job。the_job包含一些由锁保护的打印。此外,函数的输入只是简单地放入一个队列中(看是否可以从队列中恢复)。此输入只是在名为start_scenario的主脚本中创建的range(10)中的索引idx(显示在底部)。defth

python - 错误信息 "python-pylint ' C0103 :Invalid constant name"

我对这张照片中的错误感到困惑:我不知道如何解决它们。我的程序是Python-Flask网络框架。当我使用VisualStudioCode调试我的程序时,Pylint会显示这些错误。我知道这个问题无关紧要,但它让我很恼火。我该如何解决?#-*-coding:utf-8-*-importsysfromflaskimportFlaskfromflask_bootstrapimportBootstrapfromflask_momentimportMoment#fromflask_wtfimportForm#fromwtformsimportStringField,SubmitField#fro