شرائح التقييم وبوابات قبول المرشح

baseline = {"common":[2.0,2.0,2.0,2.0], "critical":[4.0]}
candidate = {"common":[1.0,1.0,1.0,1.0], "critical":[5.0]}
def overall(groups):
    values = [value for group in groups.values() for value in group]
    return sum(values)/len(values)
print(f"baseline overall={overall(baseline):.2f}")
print(f"candidate overall={overall(candidate):.2f}")
print("critical slice worsens", sum(candidate["critical"])/len(candidate["critical"]) > sum(baseline["critical"])/len(baseline["critical"]))

baseline overall=2.40
candidate overall=1.80
critical slice worsens True

يحسن المرشح المخترع متوسط الخطأ المطلق لكنه يسوء في شريحة حرجة ذات مشاهدة واحدة؛ وتوفر الشريحة الصغيرة دليلاً ضعيفاً أيضاً.

evidence = {"overall_mae":1.8, "critical_mae":5.0, "critical_count":1, "compatible":True}
checks = {"overall bound":evidence["overall_mae"] <= 2.0,
          "critical bound":evidence["critical_mae"] <= 4.0,
          "critical minimum count":evidence["critical_count"] >= 3,
          "input compatibility":evidence["compatible"]}
failed = [name for name,passed in checks.items() if not passed]
print("failed", failed)
print("passes declared gate", not failed)

failed ['critical bound', 'critical minimum count']
passes declared gate False

يثبت عقد المثال هذه العتبات التوضيحية؛ وليست توصيات عامة أو ضمانات ثقة إحصائية.