الدقة والذاكرة والكفاءة

import struct
def half(value):
    return struct.unpack("e", struct.pack("e", value))[0]
w, delta = 1.0, 0.0001
print(f"full update={w+delta:.7f}")
print(f"half update={half(w+delta):.7f}")
print("half bytes", struct.calcsize("e"))

full update=1.0001000
half update=1.0000000
half bytes 2

يفقد تقريب binary16 الزيادة الصغيرة قرب الواحد؛ وهذا عرض تخزين لا حساب مسرع.

parameters = 1000
weight_bytes = parameters * 4
gradient_bytes = parameters * 4
optimizer_bytes = parameters * 2 * 4
activation_bytes = 8 * 16 * 4
print("weights", weight_bytes)
print("assumed training total", weight_bytes+gradient_bytes+optimizer_bytes+activation_bytes)
print("double batch activations", 2*activation_bytes)

weights 4000
assumed training total 16512
double batch activations 1024

يفترض العدد أوزاناً وتدرجات ومصفوفتي محسن float32 وتنشيطاً واحداً، ويغفل تخزين التنفيذ الإضافي.