草庐IT

Tensorflow1

全部标签

python - 如何在多核多线程上运行 TensorFlow

我应该开始说我对任何类型的并行/多线程/多处理编程都是全新的。现在,我有机会在32个内核(每个内核有2个超线程)上运行我的TensorFlowCNN。我花了很多时间试图了解我应该如何修改(如果必须的话)我的代码以利用所有这些计算能力。不幸的是,我什么也没做。我希望TF可以自动执行此操作,但是当我启动我的模型并使用top检查CPU使用率时,我看到大部分时间CPU使用率为100%,少数情况下达到200%的峰值。如果使用了所有内核,我希望看到100*64=6400%的使用率(对吗?)。我怎样才能做到这一点?我应该做类似于解释的事情吗here?如果是这样,我是否理解所有的多线程只适用于涉及队列

python - tensorflow :请使用 `rate` 而不是 `keep_prob` 。速率应设置为 `rate = 1 - keep_prob`

当我使用Keras定义模型时,大多数时候都会收到此警告。它似乎以某种方式来自tensorflow:WARNING:tensorflow:FromC:\Users\lenik\AppData\Local\Programs\Python\Python37\lib\site-packages\keras\backend\tensorflow_backend.py:3445:callingdropout(fromtensorflow.python.ops.nn_ops)withkeep_probisdeprecatedandwillberemovedinafutureversion.Instr

Tensorflow-gpu保姆级安装教程(Win11, Anaconda3,Python3.9)

Tensorflow-gpu保姆级安装教程(Win11,Anaconda3,Python3.9)前言Tensorflow-gpu版本安装的准备工作(一)、查看电脑的显卡:(二)、Anaconda的安装(三)、cuda下载和安装(四)、cudnn下载安装(五)、配置环境变量(六)、创建tensorflow环境(七)、测试Tensorflow-gpu是否安装成功卸载重装前言CPU版本和GPU版本的区别主要在于运行速度,GPU版本运行速度更快,所以如果电脑显卡支持cuda,推荐安装gpu版本的。CPU版本,无需额外准备,CPU版本一般电脑都可以安装,无需额外准备显卡的内容,(如果安装CPU版本请参考

python - 如何运行以张量为范围的循环? (在 tensorflow 中)

我想要一个for循环,其迭代次数取决于张量值。例如:foriintf.range(input_placeholder[1,1]):#dosomething但是我得到以下错误:“TypeError:'Tensor'对象不可迭代”我该怎么办? 最佳答案 为此,您需要使用tensorflowwhile循环(tf.while_loop),如下所示:i=tf.constant(0)while_condition=lambdai:tf.less(i,input_placeholder[1,1])defbody(i):#dosomethinghe

python - Tensorflow 导致日志消息加倍

所以我在玩Google的Tensorflow他们昨天发布的库遇到了一个烦人的错误,一直困扰着我。我所做的是像往常一样设置python日志记录功能,结果是,如果我导入tensorflow库,控制台中的所有消息都开始加倍。有趣的是,如果您只使用logging.warn/info/..()函数,这不会发生。不将消息加倍的代码示例:importtensorflowastfimportlogginglogging.warn('test')确实将所有消息加倍的代码示例:importtensorflowastfimportlogginglogger=logging.getLogger('TEST')

python - 在带有 Tensorflow 张量的 Keras 模型中使用 InputLayer(或 Input)有什么好处?

Keras模型可以通过函数式API用作Tensor上的Tensorflow函数,如所述here.所以我们可以这样做:fromkeras.layersimportInputLayera=tf.placeholder(dtype=tf.float32,shape=(None,784))model=Sequential()model.add(InputLayer(input_tensor=a,input_shape=(None,784)))model.add(Dense(32,activation='relu'))model.add(Dense(10,activation='softmax'

python - TensorFlow:如何记录 GPU 内存(VRAM)利用率?

TensorFlow总是(预)分配我显卡上的所有空闲内存(VRAM),这没关系,因为我希望我的模拟在我的工作站上尽可能快地运行。但是,我想记录TensorFlow实际使用了多少内存(总计)。此外,如果我还可以记录单个张量使用的内存量,那就太好了。此信息对于衡量和比较不同ML/AI架构所需的内存大小非常重要。有什么建议吗? 最佳答案 更新,可以使用TensorFlowops查询分配器:#maximumacrossallsessionsand.runcallssofarsess.run(tf.contrib.memory_stats.M

python - 从 TensorFlow 中高效地获取梯度?

我正在尝试使用TensorFlow实现一个异步参数服务器,DistBelief风格。我发现minimize()被拆分成两个函数,compute_gradients和apply_gradients,所以我的计划是在它们之间插入一个网络边界。我有一个关于如何同时评估所有梯度并一次将它们全部拉出的问题。我知道eval只评估必要的子图,但它也只返回一个张量,而不是计算该张量所需的张量链。我怎样才能更有效地做到这一点?我以DeepMNIST示例作为起点:importtensorflowastfimportdownload_mnistdefweight_variable(shape,name):i

python - 无法在带有 GPU 的 tensorflow 教程中运行词嵌入示例

我正在尝试在https://github.com/tensorflow/tensorflow/tree/master/tensorflow/g3doc/tutorials/word2vec运行词嵌入示例代码(在Ubuntu14.04下安装了GPU版的tensorflow),但是返回如下错误信息:Foundandverifiedtext8.zipDatasize17005207Mostcommonwords(+UNK)[['UNK',418391],('the',1061396),('of',593677),('and',416629),('one',411764)]Sampledata

python - 使用 TensorFlow 进行成对距离计算

我正在尝试实现这篇文章:http://ronan.collobert.com/pub/matos/2008_deep_icml.pdf特别是第2节中的等式(3)。不久我想对每个小批量的特征进行成对距离计算,并将此损失插入到一般网络损失中。我只有批处理的Tesnor(16个样本)、批处理的标签张量和批处理特征张量。找了半天还是没搞清楚:1)如何将批处理划分为正(即相同标签)和负对。由于张量不可迭代,我无法弄清楚如何获取哪个样本具有哪个标签然后划分我的向量,或者获取张量的哪些索引属于每个类。2)如何对批量张量中的某些指标进行成对距离计算?3)我还需要为反例定义一个新的距离函数总的来说,我需