草庐IT

neural-network

全部标签

python - 动量反向传播

我正在关注thistutorial用于实现反向传播算法。但是,我一直坚持为该算法实现动量。没有Momentum,这是权重更新方法的代码:defupdate_weights(network,row,l_rate):foriinrange(len(network)):inputs=row[:-1]ifi!=0:inputs=[neuron['output']forneuroninnetwork[i-1]]forneuroninnetwork[i]:forjinrange(len(inputs)):neuron['weights'][j]+=l_rate*neuron['delta']*in

python - 修改神经网络对单个示例进行分类

这是我对深度学习类(class)中AndrewNG的神经网络之一的自定义扩展,我正在尝试为二进制分类生成0或1,而不是生成0或1对多个示例进行分类。输入和输出都是一种热编码。在没有太多训练的情况下,我的准确度为'trainaccuracy:67.51658067499625%'如何对单个训练示例进行分类而不是对所有训练示例进行分类?我认为我的实现中存在一个错误,因为该网络的一个问题是训练示例(train_set_x)和输出值(train_set_y)都需要具有相同的维度,否则会收到与矩阵维度相关的错误。例如使用:train_set_x=np.array([[1,1,1,1],[0,1,

[论文笔记]Glancing Transformer for Non-Autoregressive Neural Machine Translation

引言这是论文GlancingTransformerforNon-AutoregressiveNeuralMachineTranslation的笔记。传统的非自回归文本生成速度较慢,因为需要给定之前的token来预测下一个token。但自回归模型虽然效率高,但性能没那么好。这篇论文提出了GlancingTransformer,可以只需要一次解码,并行地文本生成。并且效率不输于Transformer这种自回归方法。简介Transformer变成了最广泛使用的机器翻译架构。尽管它的表现很好,但Transformer的解码是低效的因为它采用序列自回归因子分解来建模概率,见下图1a。最近关于非自回归Tr

python - 如何使用 TensorFlow 在 ROI 周围创建边界框

我正在使用inceptionv3和tensorflow来识别图像中的一些对象。但是,它只是创建了一个可能对象的列表,我需要它来告知它们在图像中的位置。我正在学习鲜花教程:https://www.tensorflow.org/versions/r0.9/how_tos/image_retraining/index.htmlbazel-bin/tensorflow/examples/image_retraining/retrain--image_dir~/flower_photos 最佳答案 Inception是一个分类网络,而不是定位

RuntimeError: The server socket has failed to listen on any local network address. The server socket

Errordetails:RuntimeError:Theserversockethasfailedtolistenonanylocalnetworkaddress.Theserversockethasfailedtobindto[::]:29500(errno:98-Addressalreadyinuse).Theserversockethasfailedtobindto?UNKNOWN?(errno:98-Addressalreadyinuse).Thiserroroccurswhenusingtorch.nn.parallel.DistributedDataParalleltotrain

【论文导读】- E-LSTM-D: A Deep Learning Framework for Dynamic Network Link Prediction(动态网络链接预测)

文章目录论文信息摘要论文贡献问题定义动态网络动态网络链接预测E-LSTM-D框架Encoder–Decoder结构1.编码器(Encoder)2.解码器(Decoder)堆叠的LSTM论文信息E-LSTM-D:ADeepLearningFrameworkforDynamicNetworkLinkPrediction原文链接:E-LSTM-D:ADeepLearningFrameworkforDynamicNetworkLinkPrediction:https://ieeexplore.ieee.org/abstract/document/8809903摘要Predictingthepotent

python - 神经网络中的 SciPy 优化警告

我在NeuralNetwork中使用SciPyfmin_bfgs()优化收到下一个警告。遵循反向传播算法,一切都应该简单明了。1个前馈训练示例。2计算每个单元的误差项。3累积梯度(对于第一个例子,我跳过正则化项)。StartingLoss:7.26524579601Checkgradient:2.02493576268Warning:Desirederrornotnecessarilyachievedduetoprecisionloss.Currentfunctionvalue:5.741300Iterations:3Functionevaluations:104Gradienteva

python - 在 Keras 中,如何为 LSTM 层获取 3D 输入和 3D 输出

在我的原始设置中,我得到了X1=(1200,40,1)y1=(1200,10)然后,我可以完美地使用我的代码:model=Sequential()model.add(LSTM(12,input_shape=(40,1),return_sequences=True))model.add(LSTM(12,return_sequences=True))model.add(LSTM(6,return_sequences=False))model.add((Dense(10)))现在,我进一步得到了另一个与X1和y1大小相同的时间序列数据。即,X2=(1200,40,1)y2=(1200,10)

python - 在 Keras 中获得预测

我已经成功地在Keras中训练了一个简单的模型来对图像进行分类:model=Sequential()model.add(Convolution2D(32,3,3,border_mode='valid',input_shape=(img_channels,img_rows,img_cols),activation='relu',name='conv1_1'))model.add(Convolution2D(32,3,3,activation='relu',name='conv1_2'))model.add(MaxPooling2D(pool_size=(2,2)))model.add(D

python - 多输出回归模型始终为 Tensorflow 中的批处理返回相同的值

我有一个多层感知器用于预测14个连续值的多输出回归问题。以下是相同的代码片段:#Parameterslearning_rate=0.001training_epochs=1000batch_size=500#NetworkParametersn_hidden_1=32n_hidden_2=200n_hidden_3=200n_hidden_4=256n_input=14n_classes=14#tfGraphinputx=tf.placeholder("float",[None,n_input],name="x")y=tf.placeholder("float",[None,n_cla