الدفعات الصغيرة وتراكم التدرج والجداول

gradients = [[1.0, 3.0], [5.0]]
weighted = sum(sum(g) for g in gradients) / sum(map(len, gradients))
unweighted = sum(sum(g)/len(g) for g in gradients) / len(gradients)
print(f"sample mean={weighted:.1f}")
print(f"mean of batch means={unweighted:.1f}")

sample mean=3.0
mean of batch means=3.5

تحتاج الدفعات الجزئية غير المتساوية ترجيحاً بعدد الأمثلة لمطابقة المتوسط عند حالة معاملات واحدة.

from math import cos, pi
base, warmup, total = 0.1, 2, 6
for step in range(total):
    if step < warmup:
        rate = base * (step + 1) / warmup
    else:
        progress = (step - warmup) / (total - warmup - 1)
        rate = base * 0.5 * (1 + cos(pi * progress))
    print(f"step={step}, lr={rate:.3f}")

step=0, lr=0.050
step=1, lr=0.100
step=2, lr=0.100
step=3, lr=0.075
step=4, lr=0.025
step=5, lr=0.000

يحدد الجدول فهرسته صراحة ويبلغ الصفر عند آخر تحديث معروض.