محتويات الدورة

التعلم الآلي / أساس التنبؤ والبيانات / الدرس 2

جودة البيانات وعقود الخصائص

افحص المعنى والمحاذاة والغياب وسياسة القياس قبل ملاءمة نموذج لمصفوفات تبدو مرتبة.

وقت القراءة التقريبي: 4 دقيقةتاريخ مراجعة المحتوى
في هذه الصفحة

أهداف الدرس

  • الصف وحدة مقيسة لا موضع فقط
  • قياس الغياب دون خلطه بالقيمة
  • فصل فحص البيانات من اختيار النموذج

الصف وحدة مقيسة لا موضع فقط

حدد كيان الصف ومشاهدته ومصدر الهدف ووقت توفر الخاصية. قد تصح الأبعاد وترتبط كل الأهداف بسجلات خاطئة. احفظ معرفات ووقتا للتدقيق والتقسيم وإن لم تدخل النموذج. ميز القياس المتكرر من التكرار العرضي؛ فمشاهدات الشخص والآلة والحدث مترابطة عادة لا أمثلة مستقلة تلقائيا. وثق الجمع والاستبعاد كي لا يتغير المجتمع بصمت. ولا يحدد ترتيب الصف في ملف هوية المشاهدة بصورة موثوقة؛ فقد يتغير الترتيب عند الربط أو التصفية، بينما يجب أن يبقى الكيان ووقت القياس قابلين للتتبع.

الوحدات والمجالات والأهداف تحمل افتراضات

لا يكشف العمود وحدته أو ترميزه. حدد الدقائق والثواني والعملة والفئة والمجال وافحص المخالف. قد يكون الصفر حقيقة أو غيابا أو افتراض حساس، ولكل معالجة. قد تتأخر الأهداف أو تختلف الوسوم أو تتأثر بالسياسة؛ وثق الموجب وتغيره. لا تنظف بحذف المزعج حتى يتحسن المقياس، بل احفظ عقد القياس وسجل المستبعد وأسبابه. كما أن قواعد الاستبعاد قد تغير المجتمع الذي يجري تقييمه، ولذلك ينبغي تسجيل سبب حذف كل نوع من السجلات بدلا من تعديل العينة لمجرد رفع المقياس.

قياس الغياب دون خلطه بالقيمة

يعد المثال المحدود ويحدد الصفوف غير المحدودة دون تقرير التعويض والحذف والإصلاح. قد يعكس الغياب عملية جمع تختلف بين التدريب والنشر. تعلم التعويض بالتدريب وحده وحدد العمود الغائب كله والجديد. قد يحتاج اللانهاية تشخيصا غير الفراغ. يبدأ العد القرار ولا يثبت صحة استبدال الجميع بصفر. وقد تعكس اللامحدودية أو القيم الغائبة عملية جمع مختلفة، لذلك يجب فحص سببها قبل افتراض أن كل الحالات تصلح لتعبئة واحدة أو أنها غياب عشوائي.

python مثال محلي ببيانات اصطناعية ثابتة
import numpy as np
X = np.array([[1.0, np.nan], [3.0, 4.0], [5.0, 6.0]])
finite = np.isfinite(X)
print(finite.sum(axis=0).tolist())
print((~finite).any(axis=1).tolist())
الناتج المتوقع
[3, 2]
[True, False, False]

تكشف الأعداد والأعلام الغياب دون فرض تعويض غير مراجع.

ربط الأهداف بالهوية لا ترتيب عرضي

يبني المثال الهدف بترتيب معرفات الخصائص، ويكسر ترتيبه مستقلا الربط بصمت. افحص الفردية والتغطية؛ فقد يضاعف الربط الصفوف ووزنها. استخدم مفتاح مشاهدة مركبا أو تجميعا موثقا للتكرار المشروع لا حذفا أعمى. احفظ الهوية عبر التصفية والتحويل لتتبع التنبؤ والخطأ؛ لا يكشف العدد وحده خلط الهدف وتكرار الكيان. وإذا كانت المشاهدات المتكررة مقصودة، فليحدد المفتاح المركب أو التجميع معناها بوضوح، لأن حذفها أو مضاعفتها عشوائيا يغير أوزان التدريب والتقييم.

python مثال محلي ببيانات اصطناعية ثابتة
import numpy as np
feature_ids = ["b", "a", "c"]
target_by_id = {"a": 10.0, "b": 20.0, "c": 30.0}
assert len(feature_ids) == len(set(feature_ids))
assert set(feature_ids) <= target_by_id.keys()
y = np.array([target_by_id[key] for key in feature_ids])
print(feature_ids)
print(y.tolist())
الناتج المتوقع
['b', 'a', 'c']
[20.0, 10.0, 30.0]

تصطف الأهداف بالهوية بعد فحص التغطية والفردية لا بترتيب مستقل.

فصل فحص البيانات من اختيار النموذج

افحص الجودة ببروتوكول التدريب والتحقق دون تنقيب نتائج الاختبار لحذف محسن. حدد الاسم والترتيب والنوع والوحدة والفئات والغياب والتوفر، وتحقق ثانية عند الاستدلال وطبق بديلا للمخالف. تكشف الشرائح تغير وحدة أو غيابا يخفيه المتوسط. العينات صغيرة للفهم، ويحتاج الحقيقي المصدر والاستخدام المسموح وخبرة المجال. ويجب إعادة التحقق من مخطط البيانات وقت الاستدلال، مع مسار رفض أو بديل للمخالف، لأن صحة بيانات التدريب لا تضمن أن المدخلات الجديدة تحمل المعاني نفسها.

الأخطاء الشائعة وإصلاحها

تتطابق الأبعاد وتفسد النتائج

لماذا يحدث؟
رتبت الخصائص والأهداف مستقلة.
كيف تصلحه؟
اربط بهوية وافحص المحاذاة.
كيف تتجنب تكراره؟
احفظ المعرف عبر تغيير الصفوف.

يخلق التعويض صفرا مستحيلا

لماذا يحدث؟
أغفل الاستبدال معنى الخاصية.
كيف تصلحه؟
اختر سياسة مبررة من التدريب.
كيف تتجنب تكراره؟
ميز الصفر والغياب.

تزيد الصفوف وزن كيان

لماذا يحدث؟
لم يدقق التكرار والربط.
كيف تصلحه؟
افحص المفاتيح ووحدة المشاهدة.
كيف تتجنب تكراره؟
أبلغ عدد التكرار والكيانات.

اختبر فهمك

1. تغير حساس من ثوان لميلي ثانية أثناء الجمع؛ ماذا تفعل قبل النمذجة؟

اعرض الحل المشروح

حدد التغير بالمصدر والوقت وحول بوحدة صريحة وافحص الشريحة. لا تنتظر اكتشاف النموذج ولا تحذف الكبير كشذوذ تلقائي. احفظ الإصلاح ودليله بالعقد. ويجب ألا يختلط تصحيح الوحدة باختيار حالات تحقق تجعل النموذج يبدو أفضل؛ فالتغيير مبرر بقياس موثق لا بمقياس الأداء.

2. لماذا لا يكفي عد الصفوف بعد ربط الأهداف؟

اعرض الحل المشروح

قد يحفظ العدد ويخطئ الربط أو يكرر كيانا ويحذف آخر. افحص التغطية والفردية أو التعدد المقصود وروابط معلومة مستقلة واحفظ وحدة المشاهدة لمعنى الوزن والتقسيم. فقد يحفظ العدد مع سقوط كيان وتضاعف آخر، مما يغير أوزان التقييم حتى لو بقي طول المصفوفة صحيحا.

أهم ما تعلمته

  • معنى البيانات جزء العقد.
  • دقق المحاذاة وهوية المشاهدة.
  • يتطلب إصلاح الغياب سياسة مبررة.

المراجع الرسمية