تشخيص ديناميات التدريب

from math import sqrt
gradient = [3.0, 4.0]
limit = 2.0
norm = sqrt(sum(g*g for g in gradient))
scale = min(1.0, limit/norm)
clipped = [g*scale for g in gradient]
print(f"before={norm:.1f}")
print([round(g,2) for g in clipped])
print(f"after={sqrt(sum(g*g for g in clipped)):.1f}")

before=5.0
[1.2, 1.6]
after=2.0

يعيد قص المعيار الكلي تحجيم المتجه كله ويحفظ اتجاه التدرج المنتهي غير الصفري.

from math import isfinite
layers = {"hidden": [0.0, 0.0], "output": [0.25, -0.5]}
for name, values in layers.items():
    print(name, "finite", all(isfinite(v) for v in values),
          "all_zero", all(v == 0 for v in values))

hidden finite True all_zero True
output finite True all_zero False

تحدد الملخصات حداً ذا تدرج صفري اصطناعي، ولا تكشف سببه دون تتبع الرسم الأمامي.