التعميم والتنظيم والاختيار الأمين

train = [0.8, 0.5, 0.3, 0.2]
validation = [0.9, 0.6, 0.55, 0.7]
best = min(range(len(validation)), key=lambda i: validation[i])
print("selected epoch", best + 1)
print("validation", validation[best])
print("training-only choice", min(range(len(train)), key=lambda i: train[i]) + 1)

selected epoch 3
validation 0.55
training-only choice 4

يختلف اختيار التحقق عن اختيار ملاءمة التدريب، ولا يشارك الاختبار النهائي.

activation, keep = 6.0, 0.75
kept_output = activation / keep
expected = keep * kept_output + (1 - keep) * 0.0
w, learning_rate, decay = 2.0, 0.1, 0.2
shrunk = w * (1 - learning_rate * decay)
print(f"kept={kept_output:.1f}, expected={expected:.1f}")
print(f"decay-only weight={shrunk:.2f}")

kept=8.0, expected=6.0
decay-only weight=1.96

التوقع دقيق لتنشيط واحد؛ وحساب الاضمحلال مستقل ولا يتضمن تدرج البيانات.