التعلم العميق / أسس الموترات والتعلم / الدرس 2
التحويلات التآلفية واللاخطية والتمثيل
افهم ما تضيفه الطبقات إلى التمثيل ولماذا تغير العمليات اللاخطية عائلة الدوال.
في هذه الصفحة
أهداف الدرس
- تركيب تحويلات تآلفية بصورة صريحة.
- بناء تمثيل مخفي يفصل نمطاً بسيطاً.
- ربط سلوك التنشيط بالتدرجات ودور كل طبقة.
العمق دون لاخطية يبقى تحويلاً تآلفياً
يجمع التحويل التآلفي بين تحويل خطي وانحياز. ويعطي تركيب تحويلين تآلفيين تحويلاً تآلفياً آخر: تساوي (XW1 + b1)W2 + b2 التعبير X(W1W2) + b1W2 + b2. قد يؤثر التمثيل الوسيط في التحسين أو قيود التحليل إلى عوامل، لكنه لا ينشئ وحده حداً قرارياً لاخطياً عاماً. يوضح هذا الفرق لماذا لا تكفي إضافة أي طبقات لزيادة اللاخطية التعبيرية، ولماذا قد يلائم رأس تنبؤ خطي تمثيلاً بنتْه طبقات لاخطية سابقة. ميّز دائماً بين عائلة الدوال الرياضية وطريقة تخزين المعاملات.
يمكن لسمة مخفية أن تغير قابلية الفصل
لنأخذ مدخلين ثنائيين نريد إخراج الواحد لهما فقط عندما يختلفان. لا يفصل حد مستقيم واحد الزوايا الأربع وفق مصنف تآلفي ذي عتبة معتادة. لكن مجموع السمتين max(0, x1-x2) وmax(0, x2-x1) يساوي الفرق المطلق بين المدخلين في هذه الحالات. هذا تغير ملموس في التمثيل، ولا يثبت أن لكل وحدة مخفية متعلمة تفسيراً بشرياً واضحاً. توزع الشبكات الحقيقية المعلومات بين إحداثيات متعددة، وقد تحقق إعدادات معاملات مختلفة الدالة نفسها. اشرح التمثيل بسلوك مدخلاته ومخرجاته المفحوص قبل تسمية العصبونات بأسماء دلالية.
ابن خريطة سمات لاخطية صغيرة
يحسب المثال الأول المقومين المخفيين على المدخلات الثنائية الأربعة. الأوزان مختارة يدوياً وثابتة؛ لذلك يبين المثال قدرة التمثيل، وليس نجاح التدريب. يبلغ الخرج واحداً في حالتي اختلاف المدخلين وصفراً في حالتي تساويهما. تعيد ReLU صفراً للمدخل السالب وتبقي المدخل الموجب كما هو. لا توجد مشتقة عادية وحيدة عند الصفر، ولذلك يختار التنفيذ اصطلاحاً للانتشار العكسي. يؤثر هذا الاصطلاح في فحص التدرج عددياً؛ فلا يصح التعامل مع نقطة الانكسار كما لو كانت نقطة ملساء.
inputs = [(0, 0), (0, 1), (1, 0), (1, 1)]
for a, b in inputs:
h = [max(0, a - b), max(0, b - a)]
print((a, b), h, sum(h))
(0, 0) [0, 0] 0
(0, 1) [0, 1] 1
(1, 0) [1, 0] 1
(1, 1) [0, 0] 0تمثل السمات المخفية الثابتة قاعدة اختلاف المدخلين دون الادعاء بأنها نتيجة تدريب.
يغير التشبع الحساسية المحلية
تحول الدالة السيغمودية مدخلاً حقيقياً إلى قيمة بين الصفر والواحد دون بلوغ الطرفين رياضياً. تصبح مشتقتها s(1-s) صغيرة قرب الطرفين، ولذلك قد تنقل سلسلة طويلة من هذه المشتقات تدرجاً صغيراً. يعرض المثال الثاني هذه الخاصية المحلية عند الصفر والعشرة. لا يعني ذلك أن السيغمويد خيار سيئ دائماً؛ فهو مفيد لتفسير خرج احتمالي ثنائي مع هدف مناسب. تؤدي التنشيطات المخفية وتحويلات الخرج وتنفيذات الخسارة أدواراً مختلفة. اختر كل دور بصورة مقصودة، ولا تستخدم تنشيطاً واحداً في جميع المواضع لمجرد أن مجال خرجه يبدو ملائماً.
from math import exp
for z in [0.0, 10.0]:
s = 1.0 / (1.0 + exp(-z))
print(f"{z:.1f}: value={s:.6f}, slope={s * (1-s):.6f}")
0.0: value=0.500000, slope=0.250000
10.0: value=0.999955, slope=0.000045للتنشيط المحدود نفسه حساسية محلية مختلفة جداً في المنطقة المركزية ومنطقة التشبع.
اختر السعة لغرض يمكن فحصه
تسمح الوحدات المخفية الإضافية بمزيد من الدوال الممكنة، لكن تعلم دالة مفيدة يحتاج بيانات وتحسيناً وتقييماً مناسباً. قد ترمز سمة إلى اختصار لا يعمل إلا في طريقة جمع بيانات التدريب. افحص الأداء ضمن التقسيم المقصود وتحت تغييرات ذات معنى، وقارنه بخط أساس أبسط. يؤثر عرض الشبكة وعمقها أيضاً في الذاكرة والسلوك العددي وكلفة الحساب. استخدمنا خريطة يدوية ليمكن فحص كل قيمة وسيطة. يثبت ذلك فكرة معمارية، ولا يثبت تقريباً عاماً بحجم عملي أو نجاح التحسين أو تفسيراً سببياً أو موثوقية خارج المدخلات المعروضة.
الأخطاء الشائعة وإصلاحها
فشلت طبقات خطية متتابعة في تعلم حد منحني
- لماذا يحدث؟
- يبقى تركيبها تآلفياً دون لاخطية بينية.
- كيف تصلحه؟
- أضف تمثيلاً مخفياً لاخطياً له مبرر.
- كيف تتجنب تكراره؟
- اكتب الدالة المركبة قبل افتراض أن العمق يغير القدرة التعبيرية.
لا يتغير التنشيط السيغمودي المخفي تقريباً
- لماذا يحدث؟
- تقع قيمه السابقة للتنشيط في منطقة متشبعة ذات مشتقات صغيرة.
- كيف تصلحه؟
- افحص توزيعات التنشيط والتدرج قبل تغيير المقياس أو التنشيط.
- كيف تتجنب تكراره؟
- راقب التشبع واستخدم تهيئة مناسبة للطبقة.
عُرضت خريطة يدوية ناجحة كدقة تدريب
- لماذا يحدث؟
- اختلطت أوزان ثابتة لأربعة مدخلات بعملية تعلم وتقييم.
- كيف تصلحه؟
- صفها كمثال تمثيلي وقيّم النماذج المتعلمة بصورة مستقلة.
- كيف تتجنب تكراره؟
- افصل البرهان المعماري عن الدليل التجريبي.
اختبر فهمك
1. ركّب f(x)=2x+3 ثم g(h)=4h-1 في تحويل واحد.
اعرض الحل المشروح
يعطي التعويض g(f(x))=4(2x+3)-1=8x+11. تغير الميل والانحياز، لكن الدالة بقيت تآلفية. إذا أضفنا مقوماً بين التحويلين فلن يصح هذا الاختزال عموماً عبر الحد الذي يتغير عنده المقوم.
2. لماذا لا نحذف سيغمويد الخرج الثنائي لمجرد أن سيغمويد الطبقات المخفية قد يتشبع؟
اعرض الحل المشروح
يحدد تحويل الخرج تفسيراً احتمالياً، بينما تحدد التحويلات المخفية التمثيل. تستطيع خسارة ثنائية مستقرة تعمل على الدرجات الخام معالجة الحساب دون تكوين السيغمويد أولاً. شخّص الهدف ومسار التدرج بدلاً من استبدال كل ظهور للدالة آلياً.
أهم ما تعلمته
- تغير اللاخطية عائلة الدوال الممكنة.
- خريطة سمات يدوية ليست معياراً لأداء التدريب.
- اربط دور التنشيط بسلوكه التفاضلي.