在 pytorch 中为 param_groups 设置卡住权重。

因此，如果想在训练期间保持重量不变:

for param in child.parameters():
    param.requires_grad = False

优化器也必须更新为不包括非梯度权重:

optimizer = torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=opt.lr, amsgrad=True)

如果想要对偏差和权重使用不同的weight_decay/学习率/这也允许不同的学习率:

param_groups = [{'params': model.module.bias_parameters(), 'weight_decay': args.bias_decay},
                {'params': model.module.weight_parameters(), 'weight_decay': args.weight_decay}]

param_groups dics 的列表 被定义并传递到 SGD 中，如下所示:

optimizer = torch.optim.Adam(param_groups, args.lr,
                                 betas=(args.momentum, args.beta))

如何通过卡住单个权重来实现这一点？在 dic 列表上运行过滤器，或者是否有单独向优化器添加张量的方法？

最佳答案

实际上我认为您不必更新优化器。交给优化器的Parameters只是引用。

因此，当您更改 requires_grad 标志时，它会立即更新。

但即使出于某种原因情况并非如此 - 一旦您将 requires_grad 标志设置为 False 您就无法再计算任何梯度 新梯度(见底部无和零梯度)这个权重，所以梯度不会改变如果您使用 optimizer.zero_grad()，它将保持零。

所以如果没有梯度，那么也没有必要从优化器中排除这些。因为如果没有梯度，优化器 将什么都不做，无论您使用什么学习率。

这是一个展示这种行为的小例子:

import torch
import torch.nn as nn
import torch.optim as optim

n_dim = 5

p1 = nn.Linear(n_dim, 1)
p2 = nn.Linear(n_dim, 1)

optimizer = optim.Adam(list(p1.parameters())+list(p2.parameters()))
p2.weight.requires_grad = False
for i in range(4):
    dummy_loss = (p1(torch.rand(n_dim)) + p2(torch.rand(n_dim))).squeeze()
    optimizer.zero_grad()
    dummy_loss.backward()
    optimizer.step()
    print('p1: requires_grad =', p1.weight.requires_grad, ', gradient:', p1.weight.grad)
    print('p2: requires_grad =', p2.weight.requires_grad, ', gradient:', p2.weight.grad)
    print()

    if i == 1:
        p1.weight.requires_grad = False
        p2.weight.requires_grad = True

输出:

p1: requires_grad = True , gradient: tensor([[0.8522, 0.0020, 0.1092, 0.8167, 0.2144]])
p2: requires_grad = False , gradient: None

p1: requires_grad = True , gradient: tensor([[0.7635, 0.0652, 0.0902, 0.8549, 0.6273]])
p2: requires_grad = False , gradient: None

p1: requires_grad = False , gradient: tensor([[0., 0., 0., 0., 0.]])
p2: requires_grad = True , gradient: tensor([[0.1343, 0.1323, 0.9590, 0.9937, 0.2270]])

p1: requires_grad = False , gradient: tensor([[0., 0., 0., 0., 0.]])
p2: requires_grad = True , gradient: tensor([[0.0100, 0.0123, 0.8054, 0.9976, 0.6397]])

在这里你可以看到没有计算梯度。您可能已经注意到 p2 的梯度在开始时是 None，后来是 tensor([[0., 0., 0., 0. , 0.]]) 用于 p1 而不是 None 停用渐变后。

之所以如此，是因为 p1.weight.grad 只是一个被 backward() 和 optimizer.zero_grad() 修改的变量>.

所以一开始p1.weight.grad只是用None初始化，梯度写入或累加到这个变量后不会自动清除。但是因为 optimizer.zero_grad() 被调用，它们被设置为零并保持这样，因为 backward() 不能再用 requires_grad=False.

您还可以将 if 语句中的代码更改为:

if i == 1:
    p1.weight.requires_grad = False
    p1.weight.grad = None
    p2.weight.requires_grad = True

因此，一旦重置为 None，它们将保持不变并保持 None:

p1: requires_grad = True , gradient: tensor([[0.2375, 0.7528, 0.1501, 0.3516, 0.3470]])
p2: requires_grad = False , gradient: None

p1: requires_grad = True , gradient: tensor([[0.5181, 0.5178, 0.6590, 0.6950, 0.2743]])
p2: requires_grad = False , gradient: None

p1: requires_grad = False , gradient: None
p2: requires_grad = True , gradient: tensor([[0.4797, 0.7203, 0.2284, 0.9045, 0.6671]])

p1: requires_grad = False , gradient: None
p2: requires_grad = True , gradient: tensor([[0.8344, 0.1245, 0.0295, 0.2968, 0.8816]])

我希望这对你有意义!

关于python - pytorch 卡住权重并更新 param_groups，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/53159427/