قاعدة السلسلة والتراكم العكسي

x, y = 2.0, 5.0
w, b = 1.0, 0.0
prediction = w * x + b
residual = prediction - y
gw, gb = residual * x, residual
w -= 0.1 * gw
b -= 0.1 * gb
print(f"loss={0.5 * residual**2:.2f}, dw={gw:.2f}, db={gb:.2f}")
print(f"w={w:.2f}, b={b:.2f}")

loss=4.50, dw=-6.00, db=-3.00
w=1.60, b=0.30

يستخدم الباقي الأمامي في مشتقتي المعاملين؛ والتحديث عملية مستقلة عن التفاضل.

w, x = 2.0, 3.0
a = w * x
branch_square = 2 * a
branch_direct = 1.0
da = branch_square + branch_direct
dw = da * x
print(f"a={a:.1f}, loss={a*a+a:.1f}")
print(f"da={da:.1f}, dw={dw:.1f}")

a=6.0, loss=42.0
da=13.0, dw=39.0

يجتمع إسهاما الفرعين قبل الضرب في المشتقة المحلية x.