عدم يقين التقييم ومقارنة النماذج

import numpy as np
loss = np.array([0.0, 1.0, 2.0, 3.0])
resample_indices = np.array([[0, 1, 2, 3], [0, 0, 1, 1], [2, 2, 3, 3], [0, 2, 0, 2]])
means = loss[resample_indices].mean(axis=1)
print(means.tolist())

[1.5, 0.5, 2.5, 1.0]

تعطي الأربع متوسطات قابلة للفحص للحساب لا ادعاء فاصل ثقة.

import numpy as np
loss_a = np.array([1.0, 2.0, 1.0, 2.0])
loss_b = np.array([0.5, 2.5, 0.5, 1.5])
assert loss_a.shape == loss_b.shape
difference = loss_b - loss_a
print(f"fixture mean B-minus-A={difference.mean():.3f}")
print("improved cases", int(np.sum(difference < 0)))

fixture mean B-minus-A=-0.250
improved cases 3

الأقل أفضل هنا وتحسن B ثلاث حالات بفرق متوسط سالب ربع.