التهيئة والتطبيع والمسارات المتبقية

from math import sqrt
for fan_in in [2, 8, 32]:
    print(f"fan_in={fan_in}, relu_std={sqrt(2/fan_in):.4f}")

fan_in=2, relu_std=1.0000
fan_in=8, relu_std=0.5000
fan_in=32, relu_std=0.2500

يصغر مقياس الوزن الفردي مع زيادة عدد المدخلات المجموعة وفق قاعدة مشروطة باستخدام ReLU.

from math import sqrt
rows = [[1.0, 3.0], [10.0, 14.0]]
for row in rows:
    mean = sum(row) / len(row)
    variance = sum((x-mean)**2 for x in row) / len(row)
    normalized = [(x-mean)/sqrt(variance+1e-5) for x in row]
    print([round(x, 5) for x in normalized])

[-1.0, 1.0]
[-1.0, 1.0]

تحسب الإحصاءات داخل كل صف باستخدام التباين المجتمعي دون تحجيم أو إزاحة متعلمين.