التعلم الآلي / أساس التنبؤ والبيانات / الدرس 6
درجات التصنيف ومقاييسه
افصل الترتيب والاحتمال والقرار ومعدلات الخطأ ليحمل التصنيف معنى تشغيليا واضحا.
في هذه الصفحة
أهداف الدرس
- ليس قرار الفئة التنبؤ كله
- حساب عينة بعتبة صراحة
- فصل تقييم الترتيب وسياسة القرار
ليس قرار الفئة التنبؤ كله
قد ينتج المصنف فئة أو درجة ترتيب أو احتمالًا، ولكل قرار مختلف. تحول العتبة الدرجات لفئات وتفحص المعايرة توافق الاحتمال والتكرار. لا تسم الهامش احتمالا ولا تفترض ملاءمة الافتراضي للكلفة. حدد الموجب لأن المقاييس تعتمد عليه. الدرجات هنا مصطنعة لفحص الحساب لا نموذج مدرب مزعوم. وقد تكون الدرجة هامش قرار لا احتمالا، ولذلك يجب أن يوضح العقد مقياسها ومعنى الفئة الموجبة قبل استخدام عتبة أو حساب خطر أو مقارنة مجموعة بأخرى.
تسمية كميات مصفوفة الالتباس
الموجب الصحيح موجب توقع موجبا والكاذب سالب توقع موجبا، والسالب الكاذب موجب فائت والصحيح سالب مرفوض صحيحا. تقسم الدقة الإيجابية على المتوقع الموجب والاسترجاع على الحقيقي الموجب، وتستخدم النوعية السالب ويجمع F1. قد يصغر المقام أو يصفر؛ حدد غير المعرف ولا تعد الافتراضي استنتاجا. افحص الأعداد والقرارات مع المعدلات. وإذا لم توجد قرارات موجبة أو نتائج موجبة فقد يصبح أحد المقامين صفرا، ويجب إظهار هذا الغياب ودعمه بدلا من تفسير قيمة افتراضية كأنها ملاحظة علمية.
حساب عينة بعتبة صراحة
يطبق المثال >=0.5 وينتج واحدة من كل حالة ودقة واسترجاع نصفا. يهم التعادل فوحّده بالتقييم والنشر. يفحص الشكل لمنع بث عرضي، ويحتاج الحقيقي خريطة فئات ومعالجة غير الصالح. تثبت أربعة صفوف الحساب لا أداء ومساواة ومعايرة المجتمع. وتظل قاعدة التعادل عند العتبة جزءا من الأثر المنشور، لأن تغيير أكبر من إلى أكبر من أو يساوي يمكن أن يغير القرار لبعض الحالات رغم ثبات الدرجات.
import numpy as np
y = np.array([0, 1, 1, 0])
score = np.array([0.2, 0.8, 0.4, 0.7])
assert y.shape == score.shape
pred = score >= 0.5
tp = int(np.sum((y == 1) & pred))
fp = int(np.sum((y == 0) & pred))
fn = int(np.sum((y == 1) & ~pred))
tn = int(np.sum((y == 0) & ~pred))
print(tp, fp, fn, tn)
print(f"precision={tp / (tp + fp):.2f} recall={tp / (tp + fn):.2f}")
1 1 1 1
precision=0.50 recall=0.50
تنشئ العتبة واحدة من كل حالة والمقامان غير صفريين.
مقارنة الصحة بخط أساس مفيد
يتوقع المثال الأغلبية بعينة غير متوازنة فيحقق تسعين بالمئة دون كشف موجب. الرقم خاص بعشرة أهداف مبتكرة لا معيارا مبهرا. تحدد الكلفة والانتشار فائدته. تكشف المقاييس المتوازنة والموجبة والخاصة جوانب مختلفة ولا أفضلية شاملة. قيم المتفق والقيود لا تنتق بعد النتيجة الأجمل. والصحة العالية في عينة غير متوازنة قد تأتي من رفض الجميع تقريبا، لذلك يجب أن تبقى أعداد الموجب والفائت وتكاليف القرار ظاهرة إلى جانب المقياس الإجمالي.
import numpy as np
y = np.array([0] * 9 + [1])
pred = np.zeros_like(y)
accuracy = np.mean(pred == y)
recall = np.sum((pred == 1) & (y == 1)) / np.sum(y == 1)
print(f"fixture accuracy={accuracy:.2f} recall={recall:.2f}")
fixture accuracy=0.90 recall=0.00
يصيب الأساس التسع السوالب ويفوت الموجب، فيوضح المقام لا جودة خارج العينة.
فصل تقييم الترتيب وسياسة القرار
تغير المنحنيات العتبة وتلخص الترتيب بمعان تعتمد بالمهمة والتوزيع. لا تحدد AUC عتبة النشر وعدد التنبيهات والكلفة. قد تهم سعة قمة قائمة المراجعة أكثر من الإجمالي، وللاحتمال خسارة ومعايرة منفصلتان. اختر بالتحقق واحفظ النهائي وأبلغ العدد وعدم اليقين. تربط الدروس ذلك بالشرائح والرصد. ولا تحدد مساحة المنحنى وحدها حجم قائمة المراجعة أو عدد التنبيهات أو خسارتها، بل يحتاج التشغيل إلى نقطة قرار مختارة على بيانات تحقق مسموحة وبافتراضات صريحة.
الأخطاء الشائعة وإصلاحها
تخفي الصحة الموجبات الفائتة
- لماذا يحدث؟
- أغفل الانتشار ونوع الخطأ.
- كيف تصلحه؟
- افحص الأساس والأعداد بالكلفة.
- كيف تتجنب تكراره؟
- اختر المقاييس قبل المقارنة.
تسمى درجة الترتيب احتمالا
- لماذا يحدث؟
- لم يعرف مقياسها كذلك.
- كيف تصلحه؟
- استخدم العقد وافحص المعايرة.
- كيف تتجنب تكراره؟
- ميز التسميتين.
تصير الدقة صفرا بصمت بلا تنبؤ موجب
- لماذا يحدث؟
- خفيت سياسة غير المعرف.
- كيف تصلحه؟
- أبلغ الحالة والعدد.
- كيف تتجنب تكراره؟
- اختبر المقامات الصفرية.
اختبر فهمك
1. لا يصدر النموذج موجبا؛ ماذا عن الدقة والاسترجاع؟
اعرض الحل المشروح
مقام الدقة صفري فهي غير معرفة مباشرة، والاسترجاع صفر إن وجدت موجبات حقيقية وإلا يحتاج سياسة أيضا. أعلن الاتفاق والأعداد لا قيمة بديلة كحقيقة مقيسة. ولا ينبغي أن تجعل قيمة الصفر البديلة القارئ يظن أن عددا من التنبؤات الموجبة جرى تقييمه بالفعل.
2. لماذا تختار العتبة قبل النهائي؟
اعرض الحل المشروح
يستخدم تعديلها لأخطاء النهائي بياناته للاختيار. اختر بالتحقق والكلفة ثم قيم المجمد وأبلغ نقطة التشغيل وأعدادها لا AUC وحدها. كما يجب أن يذكر التقرير نقطة التشغيل وأعداد الأخطاء، لأن مساحة المنحنى وحدها لا تحدد الفعل المنشور.
أهم ما تعلمته
- حدد الموجب والعتبة.
- أبلغ المقامات والأساس المفيد.
- يختلف الترتيب والمعايرة والقرار.