我是一名深度学习和 Tensorflow 初学者，我正在尝试在此 paper 中实现算法使用 tensorflow 。本文使用Matconvnet+Matlab实现，好奇Tensorflow有没有等价的功能来实现同样的事情。论文说:

The network parameters were initialized using the Xavier method [14]. We used the regression loss across four wavelet subbands under l2 penalty and the proposed network was trained by using the stochastic gradient descent (SGD). The regularization parameter (λ) was 0.0001 and the momentum was 0.9. The learning rate was set from 10−1 to 10−4 which was reduced in log scale at each epoch.

本文使用小波变换(WT)和残差学习方法(其中残差图像= WT(HR)- WT(HR')，HR'用于训练)。 Xavier 方法建议用

stddev=sqrt(2/(filter_size*filter_size*num_filters)

Q1。我应该如何初始化变量？下面的代码是否正确？

weights = tf.Variable(tf.random_normal[img_size, img_size, 1, num_filters], stddev=stddev)

这篇论文没有详细解释如何构造损失函数。我找不到等效的 Tensorflow 函数来设置对数刻度的学习率(仅 exponential_decay)。我理解 MomentumOptimizer 等同于具有动量的随机梯度下降。

Q2:是否可以设置对数尺度的学习率？

Q3:如何创建上述损失函数？

我关注了这个website编写下面的代码。假设model()函数返回本文提到的网络并且lamda=0.0001，

inputs = tf.placeholder(tf.float32, shape=[None, patch_size, patch_size, num_channels])
labels = tf.placeholder(tf.float32, [None, patch_size, patch_size, num_channels])

# get the model output and weights for each conv
pred, weights = model()

# define loss function
loss = tf.nn.softmax_cross_entropy_with_logits_v2(labels=labels, logits=pred)

for weight in weights:
    regularizers += tf.nn.l2_loss(weight)

loss = tf.reduce_mean(loss + 0.0001 * regularizers)

learning_rate = tf.train.exponential_decay(???) # Not sure if we can have custom learning rate for log scale
optimizer = tf.train.MomentumOptimizer(learning_rate, momentum).minimize(loss, global_step)

注意:因为我是一名深度学习/Tensorflow 初学者，所以我在这里和那里复制粘贴代码，所以如果可以的话请随时更正它；)

最佳答案

Q1。我应该如何初始化变量？下面的代码是否正确？

使用 tf.get_variable 或切换到 slim(它会自动为您进行初始化)。 example

Q2:是否可以设置对数刻度的学习率？

你可以，但你需要吗？这不是您需要在此网络中解决的第一件事。请检查#3

但是，仅供引用，请使用以下符号。

learning_rate_node = tf.train.exponential_decay(learning_rate=0.001, decay_steps=10000, decay_rate=0.98, staircase=True)

optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate_node).minimize(loss)

Q3:如何创建上述损失函数？

一开始，你还没有写“pred”到“image”的转换到这个消息中(根据论文你需要应用减法和IDWT来获得最终图像)。

这里有一个问题，logits必须根据你的标签数据来计算。即，如果您将标记数据用作“Y:标签”，则需要编写

pred = model()

pred = tf.matmul(pred, weights) + biases

logits = tf.nn.softmax(pred)

loss = tf.reduce_mean(tf.abs(logits - labels))

这将为您提供 Y 的输出:要使用的标签

如果你的数据集的标记图像是去噪图像，在这种情况下你需要遵循这个:

pred = model()

pred = tf.matmul(image, weights) + biases

logits = tf.nn.softmax(pred)

image = apply_IDWT("X : input", logits) # this will apply IDWT(x_label - y_label)

loss = tf.reduce_mean(tf.abs(image - labels))

Logits 是网络的输出。您将使用这个结果来计算其余部分。您可以在此处添加一个 conv2d 层而不是 matmul，而无需批归一化和激活函数，并将输出特征数设置为 4。示例:

pred = model()

pred = slim.conv2d(pred, 4, [3, 3], activation_fn=None, padding='SAME', scope='output')

logits = tf.nn.softmax(pred)

image = apply_IDWT("X : input", logits) # this will apply IDWT(x_label - y_label)

loss = tf.reduce_mean(tf.abs(logits - labels))

此损失函数将为您提供基本的训练能力。但是，这是 L1 距离，可能会遇到一些问题 (check)。思考以下情况

假设您有以下数组作为输出 [10, 10, 10, 0, 0]，并且您尝试实现 [10, 10, 10, 10, 10]。在这种情况下，您的损失是 20 (10 + 10)。然而，你有 3/5 的成功。此外，它可能表明有些过拟合。

对于相同的情况，考虑以下输出 [6, 6, 6, 6, 6]。它仍然有 20 (4 + 4 + 4 + 4 + 4) 的损失。但是，无论何时应用 5 的阈值，都可以获得 5/5 的成功。因此，这就是我们想要的情况。

如果你使用 L2 损失，对于第一种情况，你将有 10^2 + 10^2 = 200 作为损失输出。对于第二种情况，您将得到 4^2 * 5 = 80。 因此，优化器将尝试尽快摆脱​​#1 以获得全局成功，而不是某些输出的完美成功和其他输出的完全失败。您可以为此应用这样的损失函数。

tf.reduce_mean(tf.nn.l2_loss(logits - image))

或者，您可以检查交叉熵损失函数。 (它内部确实应用了softmax，不要两次应用softmax)

tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(pred, image))

关于python - Tensorflow:如何设置对数尺度的学习率和一些 Tensorflow 问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/47431649/