متاحة مجانًا للقراءة · ثلاثة مستويات
هندسة البيانات: تدفقات إنتاج صحيحة
مقرر نظري ثنائي اللغة متكامل في التسليم الموثوق من المصدر إلى المستهلك: العقود والصيغ وSQL والتزايد ووقت الحدث والجدولة والجودة والتخزين والتعافي.
ابدأ التعلّمفي هذه الدورة
ابنِ تدفقات إنتاج موثوقة عبر أحداث شحنات اصطناعية وإصدارات دفعات مقبولة وعينات علاقية معزولة. تربط ثمانية عشر درساً متكاملاً معنى البيانات بهويتها واكتمالها ونشرها ومسؤولية تشغيلها.
يحتوي كل درس مثالين مشروحين وأخطاء بأسبابها وعلاجها ومنعها وتمارين محلولة كاملة وخلاصات ومراجع أولية. نفذت برامج Python الآمنة وأمثلة SQLite في الذاكرة بصورة معزولة؛ أما سلوك المنصات الموزعة فيعرض كنموذج صريح ولا يدعى نشره.
ما الذي ستتعلمه؟
- تعريف العقود ومستوى الصف والوحدة وهوية المصدر وحدود القبول.
- تصميم دفعات قابلة للإعادة ومؤشرات تزايدية وCDC وتصحيح وقت الحدث ووجهات آمنة للتكرار.
- تقييم التقسيم والجدولة والمنشأ ولقطات الجداول والأمان وأدلة تعافي البيانات.
مسارك التعليمي
ثلاثة مستويات
الأساسي: العقود والدفعات القابلة للإعادة
حدد الصيغ والمعنى والمستوى العلاقي والنشر المقبول.
- تدفقات البيانات وملكيتها وعقودها
- الصيغ والترميز وحدود الملفات
- المخططات والأنواع والفراغ والزمن
- مستوى صف SQL والربط والمصالحة
- ETL وELT والتجهيز والنشر
- الدفعات الحتمية والتشغيل بلا تكرار أثر
المتوسط: التغيير والزمن والتنسيق
نسق التزايد وCDC والمتأخر والتخطيط والمهام ودليل الجودة.
- المؤشرات التزايدية ونقاط الحفظ
- التقاط تغير البيانات والحالة ذات الإصدار
- وقت الحدث والنوافذ والبيانات المتأخرة
- الأقسام وتخطيط الملفات ودمجها
- الجدولة والاعتماديات وإعادة المحاولة
- جودة البيانات والمرفوض والمنشأ
المتقدم: الصحة الموزعة والموثوقية
راجع حدود التخزين والمعاملة والملء والأمان ودليل الخدمة والتعافي.
- المستودعات والبحيرات وجداول اللقطات
- دلالات التسليم والوجهات الداعمة للمعاملات
- الملء التاريخي وتطور المخطط والتحويل التشغيلي
- الأمن والخصوصية وحدود الوصول
- حداثة البيانات وقابلية الملاحظة والكلفة
- التعافي وإعادة المعالجة والموثوقية التشغيلية
لمن هذه الدورة؟
- المطورون وممارسو البيانات الذين يبنون الاستخراج والتحويل والنشر القابل للإعادة.
- المهندسون المراجعون لصحة بيانات الإنتاج وتخزينها وخصوصيتها ورصدها وتعافيها.
قبل أن تبدأ
- معرفة أولية بـPython والبيانات الجدولية وSQL.
- تستخدم الأمثلة سجلات مخترعة وأدوات المكتبة المعيارية، ولا تتطلب حساب سحابة أو مجدولاً أو وسيطاً أو قاعدة بيانات معدة.