النزول المتدرج والفحوص العددية

w = 0.0
for step in range(1, 5):
    gradient = w - 3.0
    w -= 0.5 * gradient
    loss = 0.5 * (w - 3.0)**2
    print(f"{step}: w={w:.4f}, loss={loss:.6f}")

1: w=1.5000, loss=1.125000
2: w=2.2500, loss=0.281250
3: w=2.6250, loss=0.070312
4: w=2.8125, loss=0.017578

تسمح الدالة الحتمية بتحليل انكماش دقيق؛ وتقاس الخسارة بعد كل تحديث.

def loss(w):
    return 0.5 * (w - 3.0)**2
w, h = 1.0, 1e-5
finite_difference = (loss(w+h) - loss(w-h)) / (2*h)
analytic = w - 3.0
print(f"analytic={analytic:.6f}")
print(f"central={finite_difference:.6f}")
print(abs(analytic - finite_difference) < 1e-8)

analytic=-2.000000
central=-2.000000
True

تتحقق السماحية من المثال الأملس دون ادعاء مساواة تامة في التمثيل الثنائي.