التفاضل التلقائي وأوضاع التدرج

import torch
w = torch.tensor(2.0, dtype=torch.float64, device="cpu", requires_grad=True)
loss = 0.5*(3*w-1)**2
loss.backward()
print("first gradient", w.grad.item())
(0.5*(3*w-1)**2).backward()
print("accumulated gradient", w.grad.item())
w.grad = None
with torch.no_grad():
    output = 3*w
print("no-grad output requires gradient", output.requires_grad)

first gradient 15.0
accumulated gradient 30.0
no-grad output requires gradient False

يستخدم كل استدعاء backward هدفاً عددياً جديد البناء، فتتراكم تدرجات الورقة دون إعادة استخدام رسم محرر. لم ينفذ مرور PyTorch العكسي أو وضع تدرجه أثناء المراجعة.

def loss(w):
    return 0.5*(3*w-1)**2
w, h = 2.0, 1e-5
analytic = 3*(3*w-1)
central = (loss(w+h)-loss(w-h))/(2*h)
print(f"analytic={analytic:.6f}")
print(f"central={central:.6f}")
print("within tolerance", abs(analytic-central) < 1e-8)

analytic=15.000000
central=15.000000
within tolerance True

يفحص المرافق المنفذ مشتقة عددية ملساء واحدة بصورة مستقلة؛ ولا يشغل رسوم autograd أو مخازن تدرجات أو مديري سياق PyTorch.