التعلم الآلي / الدليل والمسؤولية التشغيلية / الدرس 14
المعايرة وتكاليف القرار
افحص معنى الاحتمال منفصلا عن الترتيب واربط العتبة بالكلفة والمجتمع المعلن.
في هذه الصفحة
أهداف الدرس
- قد يصاحب الترتيب المفيد احتمال مضلل
- فحص جدول موثوقية مصطنع
- رصد الاحتمال والقرار منفصلين
قد يصاحب الترتيب المفيد احتمال مضلل
قد يرتب النموذج جيدا ويضخم الاحتمال أو يخفضه. تسأل المعايرة توافق النتيجة والاحتمال بمجتمع وشرط محددين لا صحة الفئات أو يقين الفرد. لا تضمن .8 الحدث ولا تثبت حالتان التكرار. افحص التمييز والمعايرة لدوريهما، وقد يغير التوزيع والانتشار الاحتمال رغم ترتيب مشابه. وقد يتغير معنى الاحتمال مع انتشار الفئة أو توزيع الحالات رغم بقاء ترتيب مشابه، كما أن اتفاقا إجماليا لا يثبت تلقائيا الاتفاق داخل كل مجموعة فرعية مهمة.
ملاءمة المعايرة دون إعادة أهداف التقييم
تتعلم الخرائط من النتائج فتحتاج فصلا أو بناء متقاطعا صحيحا، ولا تعاير على إفراط التدريب. تهم المرونة والحجم والدعم. توجد temperature scaling بسياقات موثقة ولا تضمن نتيجة بحث لكل نموذج. احفظ أثر المعايرة ومصدره وقيم الإجراء المجمع والعتبة لا المقدر الخام. وتحتاج خريطة المعايرة المرنة إلى دعم مناسب، ويجب أن يقيم الاختبار النهائي النموذج والخريطة والعتبة المختارة معا، لا أن يختبر المقدر الخام وحده.
فحص جدول موثوقية مصطنع
يقسم المثال احتمالات لأربع حالات بسلتين ويعرض العدد والمتوسط والتكرار، ولا تثبت الفجوة القليلة تقديرا مستقرا. تؤثر الحواف والحجم فاعرض الدعم وعدم اليقين وسياسة الفراغ. تلخص الخسائر الاحتمالية جودة أوسع من المعايرة، فلا تجعل انخفاضها تشخيصا كاملا. وتؤثر حدود السلال وأحجامها في منظر مخطط الموثوقية، كما تحتاج السلة الفارغة إلى سياسة عرض صريحة، ولا تكفي خسارة احتمال أقل لتشخيص المعايرة وحدها.
import numpy as np
p = np.array([0.1, 0.2, 0.7, 0.8])
y = np.array([0, 1, 1, 1])
for mask in [p < 0.5, p >= 0.5]:
print(f"n={int(mask.sum())} mean_p={p[mask].mean():.2f} observed={y[mask].mean():.2f}")
n=2 mean_p=0.15 observed=0.50
n=2 mean_p=0.75 observed=1.00
يحسب الجدول أربع حالات ولا تثبت حالتان بالسلة معايرة المجتمع.
اشتقاق عتبة من نموذج كلفة صريح
يفترض المثال احتمالا معايرا لمجتمع القرار وكلفة الصحيح صفرا والكاذب الموجب واحدا والفائت أربعة. تقود المقارنة إلى خُمس وفق التعادل، لا توصية عامة. تغير السعة والتدخل والنفع والانتشار والمراجعة المسألة. لا تصلح المعادلة احتمالا غير مناسب؛ تحقق من الافتراض. وتفترض معادلة المثال احتمالات مناسبة لمجتمع القرار وكلفة صحيحة معدومة، ويمكن أن تغير السعة والتدخلات والمنافع غير المتساوية مسألة الاختيار كلها.
import numpy as np
p = np.array([0.1, 0.3, 0.6, 0.9])
cost_fp, cost_fn = 1.0, 4.0
positive_cost = (1.0 - p) * cost_fp
negative_cost = p * cost_fn
choice = positive_cost <= negative_cost
print(f"fixture threshold={cost_fp / (cost_fp + cost_fn):.2f}")
print(choice.astype(int).tolist())
fixture threshold=0.20
[0, 1, 1, 1]
تتبع القاعدة معايرة وافتراض الكلفة المبسط، ويختار التعادل الموجب هنا.
رصد الاحتمال والقرار منفصلين
احفظ النموذج والخريطة والفئة والعتبة والكلفة معا، واختبر التعادل والامتناع والمراجعة. راقب التوزيع والهدف المتأخر والشرائح والحجم والكلفة بنافذة مناسبة. تغير العتبة الحمل وأخطاء المجموعات دون تغيير المقدر. احفظ النهائي ولا تفترض معايرة كل شريحة من الإجمالي، وأعلن المحقق والمجهول. كما قد يغير تعديل العتبة حجم العمل ومعدلات أخطاء الشرائح مع بقاء النموذج نفسه، ولذلك ينبغي إصدار سياسة القرار ورصد آثارها مستقلة عن معاملات المقدر.
الأخطاء الشائعة وإصلاحها
تعد AUC معايرة
- لماذا يحدث؟
- اختلط الترتيب والموثوقية.
- كيف تصلحه؟
- افحص المعايرة والخسائر منفصلة.
- كيف تتجنب تكراره؟
- حدد المقياس والقرار.
تفرط الخريطة بأهداف التدريب
- لماذا يحدث؟
- لا بناء معايرة مستقلا.
- كيف تصلحه؟
- استخدم المحتجز أو المتقاطع.
- كيف تتجنب تكراره؟
- وثق المصدر والدعم.
تنشر العتبة بافتراض مختلف
- لماذا يحدث؟
- تغيرت الكلفة والانتشار والاحتمال.
- كيف تصلحه؟
- تحقق من السياسة كاملة.
- كيف تتجنب تكراره؟
- راقب الحجم والشرائح.
اختبر فهمك
1. لماذا يحتاج المعاير إجماليا مراجعة شرائح؟
اعرض الحل المشروح
قد يخفي المتوسط أخطاء مختلفة. افحص الشرط المناسب ودعمه وعدم اليقين والمقصد؛ فلا تثبت العالمية كل شرط أو إنصافا كاملا. كما أن قلة البيانات قد تمنع استنتاجا موثوقا حتى عندما يبدو الرسم الشرطي مختلفا، فيجب إعلان الدعم وعدم اليقين.
2. ماذا يتغير بحد مراجعة صارم؟
اعرض الحل المشروح
قد لا تكفي كلفة كل حالة؛ احسب عدد الأفعال والترتيب والتخصيص وعواقب غير المراجع. قيمها بالتحقق ولا تفترض عتبة غير مقيدة حلا للسعة. ويجب أن يتضمن التقييم ما يحدث للحالات التي لم تدخل سعة المراجعة، لا دقة الحالات المختارة وحدها.
أهم ما تعلمته
- الترتيب والاحتمال المعاير مختلفان.
- المعايرة متعلمة ولها حد.
- ترمز العتبات افتراض العمل.