草庐IT

neural-network

全部标签

python - Theano隐藏层激活函数

在Theano中是否有使用线性修正单元(ReLU)作为隐藏层的激活函数而不是tanh()或sigmoid()的方法?隐藏层的实现如下,据我在网上搜索到ReLU没有在Theano内部实现。classHiddenLayer(object):def__init__(self,rng,input,n_in,n_out,W=None,b=None,activation=T.tanh):pass 最佳答案 relu在Theano中很容易做到:switch(x要在您的案例中使用它,请创建一个将实现relu并将其传递给激活的python函数:def

python - 调试神经网络

TLDR我一直在尝试在MNIST上安装一个简单的神经网络,它适用于一个小的调试设置,但是当我把它带到MNIST的一个子集时,它训练得非常快,梯度很快接近0,但是然后对于任何给定的输入,它输出相同的值,最终成本相当高。我一直在尝试故意过度拟合以确保它确实有效,但它不会在MNIST上这样做,这表明设置中存在深层问题。我已经使用梯度检查检查了我的反向传播实现,它似乎匹配,所以不确定错误在哪里,或者现在要做什么!非常感谢您提供的任何帮助,我一直在努力解决这个问题!解释我一直在尝试在Numpy中制作一个神经网络,基于这个解释:http://ufldl.stanford.edu/wiki/inde

mobaxterm无法连接vmware虚拟机服务器,network error:connection refused

场景描述:电脑硬盘换了,重新安装vmware,ubuntu,mobaxterm.....安装完ubuntu后,因为习惯了无UI的界面,所以关闭了ubuntu的桌面服务(有需要的同学可以通过sudosystemctlset-defaultmulti-user.target,然后sudoreboot就可以关闭桌面服务了,打开命令是sudo6systemctlset-defaultgraphical.target,同样重启生效,关于卸载服务的话可以自行百度一下命令)分析问题:1、排除vmware网络设置问题,默认是NET连接模式,所以没有啥问题,推荐默认修改为NET模式,如果有修改可以通过vmwar

python - 如何在 LSTM 中实现 Tensorflow 批量归一化

我当前的LSTM网络看起来像这样。rnn_cell=tf.contrib.rnn.BasicRNNCell(num_units=CELL_SIZE)init_s=rnn_cell.zero_state(batch_size=1,dtype=tf.float32)#veryfirsthiddenstateoutputs,final_s=tf.nn.dynamic_rnn(rnn_cell,#cellyouhavechosentf_x,#inputinitial_state=init_s,#theinitialhiddenstatetime_major=False,#False:(batc

python - 在 Tensorflow 中创建许多特征列

我正在开始一个Tensorflow项目,并且正在定义和创建我的特征列。然而,我有成百上千的特征——这是一个相当广泛的数据集。即使经过预处理和清理,我也有很多列。创建feature_column的传统方法在Tensorflowtutorial中定义甚至这个StackOverflowpost.您基本上为每个特征列声明并初始化一个Tensorflow对象:gender=tf.feature_column.categorical_column_with_vocabulary_list("gender",["Female","Male"])如果您的数据集只有几列,这一切都很好,但就我而言,我肯定

【Docker】Docker高级网络(NetWork)

【Docker】Docker高级网络(NetWork)文章目录【Docker】Docker高级网络(NetWork)1.概述2.网络2.1网桥类型2.2创建网络自定义桥2.3查看所有网络2.4查看特定网络的细节2.5删除特定网络2.6多个容器使用指定网络参考文档:高级网络配置·Docker–从入门到实践(docker-practice.github.io)1.概述当Docker启动时,会自动在主机上创建一个docker0虚拟网桥,实际上是Linux的一个bridge,可以理解为一个软件交换机。它会在挂载到它的网口之间进行转发。同时,Docker随机分配一个本地未占用的私有网段(在RFC1918

python - 在 model.fit() 期间记录 Keras 中每个时期的计算时间

我想比较不同模型之间的计算时间。在拟合期间,每个时期的计算时间被打印到控制台。Epoch5/5160000/160000[==============================]-**10s**......我正在寻找一种方法来存储这些时间,其方式类似于保存在每个时期中并可通过历史对象获取的模型指标。 最佳答案 尝试以下回调:classTimeHistory(keras.callbacks.Callback):defon_train_begin(self,logs={}):self.times=[]defon_epoch_beg

python - 基于神经网络的文档排名

我正计划实现一个使用神经网络的文档排名器。如何通过考虑类似文章的评级来对文档进行评级?有什么好的python库可以做到这一点吗?谁能推荐一本关于AI的好书,有python代码。编辑我打算制作一个推荐引擎,它可以从相似的用户那里提出推荐,并使用使用标签聚类的数据。用户将有机会为文章投票。大约会有十万篇文章。文档将根据它们的标签进行聚类。给定一个关键字文章将根据它们的标签获取并通过神经网络进行排名。 最佳答案 您要解决的问题称为“协同过滤”。神经网络一种最先进的神经网络方法是深度信念网络和受限玻尔兹曼机。对于GPU(CUDA)的快速py

NICE-SLAM: Neural Implicit Scalable Encoding for SLAM论文阅读

论文信息标题:NICE-SLAM:NeuralImplicitScalableEncodingforSLAM作者:ZihanZhu,SongyouPeng,ViktorLarsson—ZhejiangUniversity来源:CVPR代码:https://pengsongyou.github.io/nice-slam时间:2022Abstract神经隐式(Neuralimplicitrepresentations)表示最近在同步定位和地图绘制(SLAM)方面有一定的进展,但现有方法会产生过度平滑的场景重建,并且难以扩展到大型场景。这些限制主要是由于其简单的全连接网络架构,未在观测中纳入本地信息

python - 提高纯 Numpy/Scipy 卷积神经网络实现的速度

背景我已经训练了一个卷积神经网络,我希望其他人能够使用它而无需费力地安装Theano等库(我发现在Linux上安装它很简单,但在Windows上很难安装)。我已经使用Numpy/Scipy编写了一个几乎足够快的实现,但如果它快两到三倍会更好。我尝试过的90%的时间花在了下面这行:conv_out=np.sum([scipy.signal.convolve2d(x[i],W[f][i],mode='valid')foriinrange(num_in)],axis=0)这一行被调用了32次(每个特征图一次),num_in为16(上一层的特征数)。所以总的来说这条线很慢,因为它导致对conv