المحسنات ومجموعات المعاملات والحالة

import torch
from torch import nn
w = nn.Parameter(torch.tensor(1.0,dtype=torch.float64,device="cpu"))
b = nn.Parameter(torch.tensor(0.0,dtype=torch.float64,device="cpu"))
optimizer = torch.optim.SGD([{"params":[w],"lr":0.1},{"params":[b],"lr":0.01}],lr=1.0)
optimizer.zero_grad(set_to_none=True)
loss = 0.5*(2*w+b-4)**2
loss.backward()
optimizer.step()
print(f"weight={w.item():.6f}; bias={b.item():.6f}")
print("group rates", [group["lr"] for group in optimizer.param_groups])

weight=1.400000; bias=0.020000
group rates [0.1, 0.01]

تستهلك مجموعتا المعاملات الصريحتان تدرجين سالب أربعة وسالب اثنين بمعدلين مختلفين. لم ينفذ محسن أو مجموعة معاملات في PyTorch.

def step(parameter, buffer, gradient):
    next_buffer = gradient if buffer is None else 0.9*buffer+gradient
    return parameter-0.1*next_buffer, next_buffer
restored, restored_buffer = step(1.0,2.0,-4.0)
weights_only, new_buffer = step(1.0,None,-4.0)
print(f"restored parameter={restored:.6f}; buffer={restored_buffer:.6f}")
print(f"weights-only parameter={weights_only:.6f}; buffer={new_buffer:.6f}")

restored parameter=1.220000; buffer=-2.200000
weights-only parameter=1.400000; buffer=-4.000000

تستخدم القاعدة العددية المنفذة التدرج الأول كمخزن زخم ابتدائي عند غيابه. توضح اعتماد التحديث على الحالة دون التحقق من تنفيذ محسن torch.