التعلم الآلي / الدليل والمسؤولية التشغيلية / الدرس 18
الرصد والانجراف وإعادة التدريب
افصل إشارات البيانات والنتائج وحقق التغير بتعريف ثابت ونظم إعادة التدريب بإصدار متحقق.
في هذه الصفحة
أهداف الدرس
- يغير النشر تدفق الأدلة
- حساب ملخص محدود لتغير المدخل
- إعادة التدريب قرار تعلم وإصدار مضبوط
يغير النشر تدفق الأدلة
قد تختلف المدخلات والسلوك وتوفر الهدف بعد النشر. راقب المخطط والغياب والمجهول والدرجة والحجم والزمن والنتيجة بنافذة، واحفظ النسخ دون تسجيل حساس عشوائي. قد تحيز الأهداف المتأخرة والمنتقاة الأداء وخاصة تأثير القرار بتوفرها. ميز المقيس والبديل والناقص لا إجماليا مطمئنا. وقد يحدد قرار النظام نفسه أي الحالات تحصل على هدف مرصود، مما يجعل تقييم المرصود فقط منتقى؛ ولذلك يجب إظهار التغطية والتأخر ومصدر الوسم بجانب الأداء.
الانجراف ليس تشخيصا واحدا
قد يتغير توزيع بلا علاقة التنبؤ والعكس دون هامش مختار. حدد التوزيع وافتراض تسميات الانزياح. لا يعني الفرق ضررا ولا غيابه سلامة. تشبه الموسمية وخلل الجمع والوحدة والسياسة الإنذار؛ قارن المجتمعات والنوافذ والمخطط واحسب كثرة الاختبار وضجيج وسعة التحقيق. وقد تسبب الموسمية أو خلل الجمع أو تغيير السياسة إشارات شبيهة بتغير العلاقة، كما تزيد كثرة الاختبارات إنذارات الضجيج وتحتاج إلى سياسة تحقق وسعة استجابة.
حساب ملخص محدود لتغير المدخل
يقارن المثال توزيعين بسلتين معلنتين ومسافة تغير كلي، فيكشف كتلة مختلفة لا دلالة إحصائية وأداء وانجراف علاقة. تؤثر السلة والحجم ويجب تطبيع متوافق. يحتاج الحقيقي مرجعا ودعما وجودة ومالكا، وافصل الحساب عن إعادة أو تعطيل تلقائي. وتحدد السلال والتطبيع وحجم العينة معنى الملخص، فلا يمثل اختلاف كتلتها اختبار دلالة أو دليلا مباشرا على تدهور العلاقة الشرطية أو الخسارة التشغيلية.
import numpy as np
reference = np.array([0.0, 0.0, 1.0, 1.0])
current = np.array([1.0, 1.0, 1.0, 1.0])
bins = np.array([-0.5, 0.5, 1.5])
p = np.histogram(reference, bins=bins)[0] / len(reference)
q = np.histogram(current, bins=bins)[0] / len(current)
print(p.tolist(), q.tolist())
print(f"fixture total variation={0.5 * np.abs(p - q).sum():.2f}")
[0.5, 0.5] [0.0, 1.0]
fixture total variation=0.50
تنتقل الكتلة المتساوية كلها للثانية كإشارة وصفية فقط.
فحص النتائج بعد نضج أهدافها
يقيم المثال ما نضج هدفه بحد المراقبة، لا ما سبق تنبؤه فقط. يطبع العدد والخطأ كي لا تعد المتأخرة صحيحة أو غيابا عشوائيا. صمم التصحيح والحجب والانتقاء ووحد النضج بالنسخ والمجموعات. إذا منع التدخل الرصد فقد لا يجيب خطأ المرصود عن السياسة والمضاد. كما يجب توحيد نضج الأهداف بين النسخ والمجموعات ومراجعة التصحيح والحجب، لأن مقارنة نافذتين بتغطية مختلفة قد توهم بتحسن أو تدهور لا يرجع إلى النموذج.
import numpy as np
label_available = np.array([2, 4, 7, 8])
absolute_error = np.array([1.0, 2.0, 9.0, 9.0])
cutoff = 5
mature = label_available <= cutoff
print("included outcomes", int(mature.sum()))
print(f"mature fixture MAE={absolute_error[mature].mean():.2f}")
included outcomes 2
mature fixture MAE=1.50
يتاح الأولان فقط ولا تستعمل أخطاء المتأخر كأهداف ناضجة.
إعادة التدريب قرار تعلم وإصدار مضبوط
حقق السبب قبل الإعادة؛ فقد يلوث خطأ الوحدة الجديد أيضا. حدد أهلية البيانات والتقسيم والأهداف والأساس والبوابات والشرائح والتراجع. لا تستبدل لمجرد حداثة أو كثرة صفوف. احفظ المصدر وقارن بعزل قبل الاعتماد. يفيد الرصد المرحلي بخطة ولا يزيل المربك ويضمن الجودة، وعين مالكا للتوقف والعودة والإبقاء. وقد يفيد النشر المرحلي أو المراقبة الصامتة ضمن خطة مراجعة لكنه لا يزيل المربكات أو يضمن المستقبل، ويجب أن يبقى قرار التوقف أو العودة بملكية واضحة.
الأخطاء الشائعة وإصلاحها
يعيد كل إنذار التدريب
- لماذا يحدث؟
- اختلط الكشف بالتشخيص.
- كيف تصلحه؟
- حقق الجودة والمعنى أولا.
- كيف تتجنب تكراره؟
- عين المالك والبوابة.
يبدو الحديث كاملا قبل الأهداف
- لماذا يحدث؟
- عولج غير المتاح خطأ.
- كيف تصلحه؟
- حدد النضج والانتقاء.
- كيف تتجنب تكراره؟
- أبلغ التغطية والتأخر.
يستبدل الجديد دون مقارنة
- لماذا يحدث؟
- اعتبرت الحداثة تحسنا.
- كيف تصلحه؟
- قيم الإجراء واحفظ التراجع.
- كيف تتجنب تكراره؟
- أصدر البيانات والكود والتحويل والسياسة.
اختبر فهمك
1. لماذا قد يتغير المدخل كثيرا دون ضرر فوري؟
اعرض الحل المشروح
قد تكون الخاصية غير مؤثرة أو العلاقة ثابتة أو لا يتغير القرار، وقد يؤثر شرط خفي بشدة. اجعل الرصد إشارة واجمع نتائج ناضجة لا مساواة الانجراف والفشل. وقد يقع العكس أيضا، فتتدهور علاقة شرطية مؤثرة دون تغير كبير في هامش الخاصية الذي يراقبه الملخص.
2. ماذا يحدث لاكتشاف خلل وحدة بالخصائص الحية؟
اعرض الحل المشروح
حدد النافذة والنسخ وصحح وقيّم المتأثر وطبق البديل أو العودة. لا تدرب على التالف، واحفظ الحادث ووحد المعالجة قبل المرشح. ثم يجب أن يمر أي نموذج بديل ببروتوكول تقييم وإصدار مستقل، لا أن يصبح رد فعل تلقائيا على إنذار أو خلل بيانات.
أهم ما تعلمته
- تحتاج الإشارة مالكا وتفسيرا.
- يؤثر نضج الهدف بالدليل.
- تمر الإعادة بتقييم وإصدار مضبوطين.