متاحة مجانًا للقراءة · ثلاثة مستويات
Apache Spark: بيانات موزعة صحيحة ومسارات معالجة قابلة للتعافي
دورة Spark كاملة تربط صحة العلاقات والتنفيذ الموزع ودلالات التدفق والأدلة التشغيلية.
ابدأ التعلّمفي هذه الدورة
ادرس تعاونية شمسية مجتمعية اصطناعية في ثمانية عشر درساً مفصلاً. تتبع قراءات العدادات ومرجع المواقع وتاريخ الفحوص ومنتجات الطاقة اليومية، وتعلم مواضع التقاء الصحة المنطقية بالتنفيذ المادي.
تدرج من DataFrames وSQL ذات الأنواع إلى اختيار المراجعات الحتمي والتبادل ونشر Parquet والخطط المتكيفة والحفظ وعمال Python وحالة زمن الحدث والتسليم القابل للتعافي. يتضمن كل درس أمثلة مشروحة وأخطاء سياقية وتمارين محلولة ومراجع رسمية أولية، وترافقه ثلاثة أدلة مستقلة لاستكشاف المشكلات.
ما الذي ستتعلمه؟
- ابنِ تحويلات قراءات ذات أنواع ووعي بـNULL وحتمية، مع مستوى تفصيل صريح للمصدر والمخرج.
- قيّم الربط والنوافذ والتبادل وتنظيم الملفات والخطط والحفظ وحدود UDF بأدلة محددة النطاق.
- صمم عقود التأخر ونقاط التحقق والوجهات والأمن والجودة والنشر، دون المبالغة في ضمانات المحرك أوالخدمة المدارة.
مسارك التعليمي
ثلاثة مستويات
الأساسي: أسس علاقية ذات أنواع
حدّد موضع التنفيذ واحفظ معنى القياس وابنِ مجتمعات استعلام ومجاميع صحيحة.
- المشغّل والمنفذون والخطط الكسولة
- المخططات والأنواع وحدود المصدر
- تعبيرات الأعمدة وNULL وسلوك ANSI
- التصفية والمناطق الزمنية والترتيب الحتمي
- الربط والتفصيل والبيانات المرجعية
- التجميعات ومقاييس الاكتمال
المتوسط: التوزيع وأدلة التنفيذ
اختر مراجعات حتمية وقيّم النوافذ والتنظيم والخطط وإعادة الاستخدام وحدود العمال.
- النوافذ وإزالة التكرار الحتمية
- الأقسام والتبادل وتوازن العمل
- تنظيم Parquet ونشر المخرجات بأمان
- خطط التنفيذ والإحصاءات والتنفيذ المتكيف
- الحفظ وسلسلة الاشتقاق وحدود إعادة المحاولة
- دوال Python وArrow وعقود العمليات العاملة
المتقدم: التدفق والتشغيل القابل للتعافي
اربط حالة زمن الحدث ونتائج الوجهة وتشخيص الفشل والجودة والأمن وتوافق الإصدار.
- زمن الحدث والعلامات المائية في التدفق
- نقاط التحقق والوجهات ودلالات التسليم
- تشخيص تفاوت العمل والذاكرة والإخفاق
- اختبارات الجودة والأدلة التشغيلية
- أمن النشر وتغليف التطبيق القابل للإعادة
- الإصدارات والكتالوجات وحدود صيغ الجداول
لمن هذه الدورة؟
- مطورو ومهندسو بيانات يتعلمون PySpark وSpark SQL بعقود صحة وتعافٍ صريحة.
- مهندسون يراجعون وظائف الدفعات والتدفق والأداء الموزع وأدلة التشغيل.
قبل أن تبدأ
- معرفة أساسية بـPython والجداول وSQL؛ أمثلة Spark مقاطع تفسيرية وليست أوامر لإعداد بيئة.
- تحتاج الممارسة الاختيارية للمحرك بيئة Spark مؤقتة مستقلة ومصرحاً بها، مع لغات وتخزين وتبعيات متوافقة.