MLOps / الرصد والاسترداد وقرارات دورة الحياة / الدرس 13
رصد الخدمة والنموذج
ارصد سلامة الإيصال والتغطية المدعومة والنتائج التنبؤية بوصفها خصائص منفصلة.
في هذه الصفحة
أهداف الدرس
- تعريف مجتمعات المقاييس ونوافذها الزمنية ووحداتها.
- فصل النجاح التشغيلي عن تغطية النموذج وجودته.
- استخدام أبعاد رصد محدودة وسياق تشخيص يقود إلى إجراء.
يبدأ الرصد بالأسئلة والحدود
اسأل هل تكتمل الطلبات المؤهلة في وقتها، وهل تصل المدخلات المدعومة إلى إصدار النموذج المتوقع، وهل تزداد البدائل، وهل تحقق النتائج الموسومة الناضجة متطلبات جودة المهمة. هذه أسئلة مختلفة ويمكن أن تفشل بصورة مستقلة. قد تعيد عملية سليمة تنبؤات غير صالحة، وقد يتعذر الوصول إلى نموذج قوي خلف مسار إيصال فاشل. عرف ما يعد مؤهلاً أو ناجحاً أو متأخراً أو فاشلاً أو مؤجلاً أو بديلاً قبل بناء لوحة. احفظ نافذة القياس والمقام حتى لا يتنكر تغير المجتمع في صورة تحسن موثوقية.
تحتاج توزيعات زمن الاستجابة اصطلاحات وأعداداً
يقارن المثال الأول متوسطاً بإحصاء ذيل وفق الرتبة الأقرب لأربع قيم اصطناعية. يوضح كيف يخفي المتوسط استجابة طويلة ويصرح باصطلاح حساب الكمية. لا تصف أربع مشاهدات ذيل إنتاج بصورة موثوقة. تختلف المدرجات والملخصات والتجميعات الفعلية في خصائص التقريب والدمج؛ فاختر التمثيل وفق السؤال ودلالات الأداة. ضم عمل الطابور والسمات إذا انتميا لحد الخدمة. لا تحسب متوسط مئينات النسخ وتسميه مئين الخدمة كلها دون طريقة مبررة.
from math import ceil
latencies = [10,20,30,100]
ordered = sorted(latencies)
p95 = ordered[ceil(0.95*len(ordered))-1]
print(f"mean_ms={sum(ordered)/len(ordered):.1f}")
print("nearest-rank p95_ms", p95)
print("observations", len(ordered))
mean_ms=40.0
nearest-rank p95_ms 100
observations 4
يصرح المثال باصطلاح الرتبة الأقرب وعدده الصغير؛ ولا يقدر ذيل إنتاج أو يشغل معيار زمن استجابة.
لا تساوي التغطية والنجاح التشغيلي الدقة
يحسب المثال الثاني البديل نجاحاً للخدمة وفق سياسته المعلنة، بينما تسهم نتيجة النموذج المباشرة وحدها في تغطية النموذج. قد يصح ذلك إذا كان البديل استجابة مقبولة، لكن يجب إظهار السياسة وحدود نتائجها. قد يحفظ ارتفاع معدل البديل التوفر ويغير جودة القرار أو يثقل المراجعة البشرية. تحتاج الدقة التنبؤية أدلة هدف وتوقيتاً مناسبين؛ ولا يحل نجاح الطلب محلها. اعرض أعداد المؤهل وإصدارات النموذج والبديل وأسباب المدخل غير المدعوم والشرائح ذات الصلة وفق سياسة التعامل مع البيانات.
events = [{"eligible":True,"status":"predicted"},
{"eligible":True,"status":"fallback"},
{"eligible":True,"status":"failed"},
{"eligible":False,"status":"invalid"}]
eligible = [event for event in events if event["eligible"]]
operational_success = sum(event["status"] in {"predicted","fallback"} for event in eligible)
model_predictions = sum(event["status"] == "predicted" for event in eligible)
print(f"declared service success={operational_success/len(eligible):.2f}")
print(f"model coverage={model_predictions/len(eligible):.2f}")
print("eligible count", len(eligible))
declared service success=0.67
model coverage=0.33
eligible count 3
يحسب المثال الصريح البديل نجاحاً تشغيلياً مع تمييزه عن تنبؤ النموذج؛ ويمكن لمهام أخرى تعريف سياسة موثقة مختلفة.
لأبعاد الرصد عقد كلفة وإفصاح
يدعم وسم حالة أو عائلة نموذج محدود التجميع؛ وقد ينشئ معرّف طلب غير مقيد أو قيمة سمة خام كوسم مقياس عدداً هائلاً من السلاسل ويكشف بيانات غير لازمة. استخدم سجلات أو تتبعات مناسبة بوصول واحتفاظ مضبوطين للربط التفصيلي، وأبق الأسرار والحمولات الخاصة خارج الرصد الروتيني. اربط المشاهدات بالأثر المحلول الدقيق عند الحاجة، لكن صمم وسم الإصدار والاحتفاظ عمداً بدلاً من افتراض مجانية كل بُعد جديد. أضف الرصد للمقيم ومسار السمات مع نقطة الاستجابة حتى يمكن التحقيق في أول حد يفشل.
ينبغي أن تقود التنبيهات إلى استجابة لها مسؤول
اختر شروط تنبيه ونوافذ ملاحظة تقابل خطراً أو هدف خدمة ذا معنى، مع إجراء تشخيص أول وبديل موثقين. تحتاج شريحة ضوضائية واحدة أو إشارة غائبة تفسيراً لا إعادة تدريب تلقائية. راقب وصول بيانات الرصد نفسه؛ فقد يعني غياب أخطاء مسجلة غياب مرور أو عطب جامع. اختبر منطق المقياس بأمثلة صغيرة معلومة، ثم تحقق من الجمع والسلوك التشغيلي في النظام المدعوم الفعلي. يحسب المساق قوائم وأعداداً ثابتة فقط؛ ولا ينشر مراقبة أو يسحب مقاييس أو يولد مروراً أو يشغل تتبعاً أو يدعي موثوقية إنتاج مقاسة.
الأخطاء الشائعة وإصلاحها
عُرض التوفر كدقة تنبؤية
- لماذا يحدث؟
- عُدت الاستجابات الناجحة دون نتائج الهدف.
- كيف تصلحه؟
- قس الجودة على وسوم ناضجة محاذاة بصورة مستقلة عن حالة الإيصال.
- كيف تتجنب تكراره؟
- ميز تعريفات الخدمة والتغطية والبديل وجودة النموذج.
بدا المتوسط سليماً وكانت بعض الطلبات بطيئة جداً
- لماذا يحدث؟
- تُتبع المتوسط وحده أو كان حد التوقيت ضيقاً جداً.
- كيف تصلحه؟
- افحص توزيعاً مناسباً بأعداده ونطاقه الكامل.
- كيف تتجنب تكراره؟
- اختبر اصطلاحات الذيل وسلوك التجميع صراحة.
أنشأت المقاييس سلسلة زمنية لكل طلب
- لماذا يحدث؟
- استخدمت معرّفات غير محدودة كوسوم مقاييس.
- كيف تصلحه؟
- استخدم أبعاد تجميع محدودة وقناة تفصيل مضبوطة.
- كيف تتجنب تكراره؟
- راجع عدد السلاسل والإفصاح والاحتفاظ واحتياجات الربط معاً.
اختبر فهمك
1. لماذا تصح قيمة نجاح الخدمة 0.67 وتغطية النموذج 0.33 معاً في المثال؟
اعرض الحل المشروح
توجد ثلاثة أحداث مؤهلة. تحقق استجابة نموذج واحدة وبديل واحد سياسة نجاح الخدمة المعلنة، فتكون النسبة ثلثين. تدخل استجابة النموذج وحدها في التغطية فتكون ثلثاً. القياسان مختلفان، ولا يمثل أيهما دقة تنبؤية لعدم تقديم نتائج الهدف.
2. تظهر لوحة صفراً من الأخطاء بعد تعطل مصدر الرصد. ما الذي يجب فحصه؟
اعرض الحل المشروح
افحص حدوث الطلبات ووصول بيانات الرصد المتوقعة وصحة مسار القياس. لا يعد غياب أحداث خطأ مسجلة دليلاً على نجاح الطلبات عند صمت الجامع. استخدم أدلة صريحة لحداثة الإشارة أو اكتمالها ومسار الاستجابة الموثق.
أهم ما تعلمته
- سم مجتمع كل مقياس ونافذته ومعناه.
- تختلف سلامة الإيصال والتغطية والجودة التنبؤية.
- تحتاج بيانات الرصد والتنبيهات حدوداً وأفعالاً ذات مسؤول.