خطوة تدريب وتقييم مضبوطة

import torch
from torch import nn
x = torch.tensor([[1.0],[2.0]],dtype=torch.float64,device="cpu")
y = torch.tensor([[2.0],[4.0]],dtype=torch.float64,device="cpu")
model = nn.Linear(1,1,dtype=torch.float64,device="cpu")
with torch.no_grad():
    model.weight.fill_(0.0)
    model.bias.fill_(0.0)
optimizer = torch.optim.SGD(model.parameters(),lr=0.1)
model.train()
optimizer.zero_grad(set_to_none=True)
loss = nn.MSELoss()(model(x),y)
loss.backward()
optimizer.step()
model.eval()
with torch.no_grad():
    after = nn.MSELoss()(model(x),y)
print(f"before={loss.item():.6f}; after={after.item():.6f}")
print(f"weight={model.weight.item():.6f}; bias={model.bias.item():.6f}")

before=10.000000; after=1.060000
weight=1.000000; bias=0.600000

تجعل المعاملات المهيأة صراحة تحديث SGD عادياً واحداً قابلاً للفحص التحليلي؛ ولم ينفذ مرور الإطار أو اشتقاقه أو محسنه أو تقييمه.

x, y = [1.0,2.0], [2.0,4.0]
w, b, rate = 0.0, 0.0, 0.1
residuals = [w*a+b-target for a,target in zip(x,y)]
before = sum(r*r for r in residuals)/len(x)
gw = 2*sum(r*a for r,a in zip(residuals,x))/len(x)
gb = 2*sum(residuals)/len(x)
w -= rate*gw
b -= rate*gb
after = sum((w*a+b-target)**2 for a,target in zip(x,y))/len(x)
print(f"dw={gw:.1f}; db={gb:.1f}")
print(f"before={before:.6f}; after={after:.6f}")

dw=-10.0; db=-6.0
before=10.000000; after=1.060000

يوفر حساب المشتقة والتحديث المنفذ توقعاً مستقلاً للمثال؛ ولا يتحقق من تنفيذ محسن torch أو تقارب التدريب عموماً.