التعلم الآلي / أساس التنبؤ والبيانات / الدرس 4
المعالجة المسبقة دون تسرب
تعلم التحويلات من التدريب واحفظ مخطط الخصائص وطبق السياسة الملائمة نفسها للمستقبل.
في هذه الصفحة
أهداف الدرس
- التحويل المتعلم جزء النموذج
- ملاءمة المقياس بصفوف التدريب فقط
- ترميز الفئات بقاموس مستقر
التحويل المتعلم جزء النموذج
قد تتعلم المحجمة والتعويض والقواميس والاختيار والاختزال من البيانات، فتقع داخل تدريب كل طية. يجوز تطبيقها على المحتجز لا تعلم إحصائها منه بالتقييم الاستقرائي العادي. احفظ المخطط والقيم وأعد استخدامها. ترمز pipeline الانضباط ولا تصلح تحويلا عاما سابقا؛ تتبع أصل كل إحصاء. وينبغي أن يضم أثر النموذج القيم المتعلمة للتحويل إلى جانب المقدر، لأن تطبيق الخوارزمية الصحيحة على تمثيل مختلف يغير معنى المدخل حتى لو لم يقع خطأ برمجي.
اختيار المحجمة بالمعنى وحساسية الخوارزمية
يغير طرح المتوسط والقسمة التمثيل لا المعلومات. تتحسس المسافات والعقوبات للمقاييس وتختلف الشجرة. لا تجعل المحجمة التوزيع غاوسيا ولا تزيل الشاذ. حدد مقياس الصفر وراقب تغير الثابت، وافصل الهدف وأعد وحدته للمقياس عند الحاجة. اختر بحسب الخوارزمية والقياس لا تطبيع الجميع عالميا. ولا تحول المحجمة التوزيع تلقائيا إلى توزيع طبيعي، ولا تصلح كل شذوذ؛ كما أن تحويل الهدف يحتاج إلى عكس متسق قبل الإبلاغ عن خطأ بوحدته الأصلية.
ملاءمة المقياس بصفوف التدريب فقط
يلائم المثال المتوسط والانحراف بالتدريب ويضع مقام الثابت واحدا ويحول صفا منفصلا. يصير العمود الثابت غير المتغير صفرا؛ إنها سياسة لا وجوب حفظ كل ثابت. يستخدم انحراف NumPy كما بالكود وقد تختلف الاتفاقية. احفظ السياسة والترتيب كي لا يعيد النشر الإحصاء لكل دفعة أو يبدل الأعمدة. والمقام الواحد للعمود الثابت قرار معلن لهذه العينة، وليس برهانا على وجوب الاحتفاظ بكل خاصية ثابتة، خاصة إذا بدأت قيمتها تتغير بعد النشر.
import numpy as np
train = np.array([[1.0, 10.0], [3.0, 10.0], [5.0, 10.0]])
future = np.array([[7.0, 10.0]])
mean = train.mean(axis=0)
scale = train.std(axis=0)
scale = np.where(scale == 0, 1.0, scale)
transformed = (future - mean) / scale
print(mean.tolist())
print(np.round(transformed, 3).tolist())
[3.0, 10.0]
[[2.449, 0.0]]
يحدد التدريب المتوسط والمقام ويستخدم الثابت سياسة الواحد.
تعويض بقيمة متعلمة مبررة
يتعلم المثال الوسيط من التدريب ويملأ الغائب بالتقييم، ولا يؤثر الكبير المرصود فيه ولا يستبدل لمجرد كبره. يحتاج العمود الغائب كله بديلا أو رفضا لا إحصاء غير محدود. ادرس مؤشر الغياب واستقراره؛ فالوسيط أساس لا نموذج شامل. لا تملأ حقلا بمعلومة بعد التنبؤ. ولا يدخل العدد الكبير المرصود في بيانات التقييم في حساب وسيط التدريب، كما أنه لا يُستبدل لمجرد كبره ما لم تبرر سياسة القياس اعتباره غير صالح.
import numpy as np
train = np.array([[1.0, np.nan], [3.0, 4.0], [np.nan, 6.0]])
future = np.array([[np.nan, 100.0], [5.0, np.nan]])
medians = np.nanmedian(train, axis=0)
assert np.isfinite(medians).all()
filled = np.where(np.isnan(future), medians, future)
print(medians.tolist())
print(filled.tolist())
[2.0, 5.0]
[[2.0, 100.0], [5.0, 5.0]]
وسيطا التدريب اثنان وخمسة ويبقى المئة مرصودا ويعوض الغائب فقط.
ترميز الفئات بقاموس مستقر
قد توحي الأرقام بترتيب ومسافة غير حقيقيين. تفصل one-hot المعروف ويجب حفظ القاموس وسياسة المجهول؛ فلا يزيح عمودا لاحقا. حدد الرفض أو المؤشر أو البديل، وافحص النوع والترتيب والوحدة والمحدودية والأبعاد. احفظ التحويل والمقدر معا؛ اختلاف التمثيل يغير السؤال للنموذج الصحيح. وقد يتطلب المجهول رفضا أو مؤشرا محجوزا أو بديلا موثقا، لكن لا يجوز أن تعيد فئة جديدة ترتيب الأعمدة التي تدرب عليها نموذج ثابت الأبعاد.
الأخطاء الشائعة وإصلاحها
يؤثر التحقق بالتعويض
- لماذا يحدث؟
- لُوئمت الإحصاءات للجميع.
- كيف تصلحه؟
- تعلم بالتدريب فقط.
- كيف تتجنب تكراره؟
- أبق المعالجة داخل الاختيار.
يتغير التنبؤ بتكوين الدفعة
- لماذا يحدث؟
- تعاد المحجمة لكل دفعة.
- كيف تصلحه؟
- أعد استخدام الملائم.
- كيف تتجنب تكراره؟
- اختبر منفردا وبالدفعة.
تزيح الفئات الجديدة الأعمدة
- لماذا يحدث؟
- أعيد القاموس عند الاستدلال.
- كيف تصلحه؟
- ثبته وحدد المجهول.
- كيف تتجنب تكراره؟
- تحقق من الشكل والمعنى.
اختبر فهمك
1. لماذا يسرب محجم بلا أهداف معلومات التحقق؟
اعرض الحل المشروح
قد يستعمل توزيع الخصائص المحتجز غير المتاح للتدريب. لائمه بالطية التدريبية وطبقها على الباقي؛ لا يلغي غياب الهدف الحد. وبذلك لا يرى أي جزء متعلم من المعالجة توزيع الطية التي يُفترض أنه يقيّمها بعد الملاءمة.
2. صمم سياسة لفئة لم يرها التدريب.
اعرض الحل المشروح
احفظ القاموس وحدد رفضا أو مجهولا أو بديلا ولا تضف عمودا بصمت. اختبر ثبات ترميز السجل مهما تغيرت دفعة الاستدلال. ويجب أن يظل التمثيل متوافقا مع عدد أعمدة المقدر ومعانيها، سواء ظهر المجهول منفردا أو مع فئات أخرى.
أهم ما تعلمته
- تعلم حيث يسمح بالتعلم فقط.
- احفظ الوحدات والترتيب والمجهول.
- التحويل جزء عقد النشر.