التنميط وأدلة الموارد

import torch
from torch.profiler import profile, record_function, ProfilerActivity
x = torch.tensor([1.0,2.0,3.0],dtype=torch.float64,device="cpu")
with profile(activities=[ProfilerActivity.CPU],record_shapes=True) as observation:
    with record_function("lab_forward"):
        value = (2*x+1).sum()
print("result", value.item())
print("label present", any(event.key == "lab_forward" for event in observation.key_averages()))

result 15.0
label present True

يفترض التوقع بناء يدعم منمط CPU الموثق. لم ينفذ منمط أو توقيت أو عملية موتر أو جمع أحداث؛ ولم تختلق قيمة زمن.

features, outputs, batch, bytes_per_value = 32,4,12,8
parameters = features*outputs+outputs
parameter_bytes = parameters*bytes_per_value
fixed = parameter_bytes*4
def named_payload(n):
    return fixed+n*(features+outputs)*bytes_per_value
print("parameter count", parameters)
print("assumed payload bytes", named_payload(batch))
print("double-batch payload bytes", named_payload(2*batch))

parameter count 132
assumed payload bytes 7680
double-batch payload bytes 11136

يشمل التقدير أوزاناً وتدرجات ومصفوفتي محسن ومدخلاً وخرجاً بقيم ثمانية بايت. يغفل تنشيطات أخرى ومساحات عمل وكلفة المخصص وPython؛ ولا تخصص موترات.