التحسين والتنظيم

import numpy as np
x = np.array([-1.0, 1.0])
y = np.array([0.0, 1.0])
w = 0.0
p = 1.0 / (1.0 + np.exp(-x * w))
gradient = np.mean(x * (p - y))
w -= 0.5 * gradient
z = x * w
print(f"w={w:.2f}")
print(np.round(1.0 / (1.0 + np.exp(-z)), 3).tolist())
print(f"loss={np.mean(np.logaddexp(0.0, z) - y * z):.3f}")

w=0.25
[0.438, 0.562]
loss=0.576

تعطي الخطوة ربعا واحتمالات حسابية لا دليل معايرة تجريبية.

import numpy as np
X = np.eye(2)
y = np.array([2.0, 4.0])
alpha = 1.0
plain = np.linalg.lstsq(X, y, rcond=None)[0]
ridge = np.linalg.solve(X.T @ X + alpha * np.eye(2), X.T @ y)
print(plain.tolist())
print(ridge.tolist())

[2.0, 4.0]
[1.0, 2.0]

ينصف alpha واحد المعاملين بهدف غير مطبع وتصميم هوية بلا ثابت.