تراكم التدرج وقصه وجداول التعلم

import torch
w = torch.nn.Parameter(torch.tensor(0.0,dtype=torch.float64,device="cpu"))
x = torch.tensor([1.0,2.0,3.0],dtype=torch.float64,device="cpu")
y = x.clone()
optimizer = torch.optim.SGD([w],lr=0.1)
scheduler = torch.optim.lr_scheduler.StepLR(optimizer,step_size=1,gamma=0.5)
optimizer.zero_grad(set_to_none=True)
for start,end in [(0,2),(2,3)]:
    (0.5*((w*x[start:end]-y[start:end])**2).sum()/len(x)).backward()
print(f"accumulated={w.grad.item():.6f}")
norm = torch.nn.utils.clip_grad_norm_([w],max_norm=1.0,error_if_nonfinite=True)
optimizer.step()
scheduler.step()
print(f"preclip norm={norm.item():.6f}; weight={w.item():.6f}")
rate = optimizer.param_groups[0]["lr"]
print(f"next rate={rate:.6f}")

accumulated=-4.666667
preclip norm=4.666667; weight=0.100000
next rate=0.050000

تستخدم مجاميع الجزأين مقام الأمثلة الثلاثة الكامل، ثم قصاً وتحديثاً مجمعين واحدين؛ والقيم المعروضة مقربة ومشتقة لا نتائج torch منفذة.

gradients = [-1.0,-4.0,-9.0]
combined = sum(gradients)/len(gradients)
mean_of_means = ((gradients[0]+gradients[1])/2+gradients[2])/2
scale = min(1.0,1.0/abs(combined))
clipped = combined*scale
print(f"sample mean={combined:.6f}")
print(f"mean of microbatch means={mean_of_means:.6f}")
print(f"mathematical clipped step={-0.1*clipped:.6f}")

sample mean=-4.666667
mean of microbatch means=-5.750000
mathematical clipped step=0.100000

يفحص المرافق ترجيح الهدف الدقيق وقص معيار عددي مثالي. ولا يعيد ثابت تثبيت التنفيذ أو عدادات المجدول أو تخزين تدرج الإطار.