محتويات الدورة

هندسة البيانات / الأساسي: العقود والدفعات القابلة للإعادة / الدرس 1

تدفقات البيانات وملكيتها وعقودها

حدد وعد تدفق الإنتاج قبل اختيار الأدوات. افصل التسليم الموثوق عن تحليل البيانات، واربط كل مجموعة بمالك ومعنى وقرار عند الفشل.

وقت القراءة التقريبي: 4 دقيقةتاريخ مراجعة المحتوى
في هذه الصفحة

أهداف الدرس

  • تحديد المصدر والوجهة ومستوى الصف وقواعد القبول.
  • تمييز نجاح التنفيذ عن بيانات منشورة صالحة للاستخدام.

هندس تدفقاً موثوقاً لا عملية حسابية فقط

تجعل هندسة البيانات المعلومات متاحة بمعنى واضح وحد تسليم ومسؤولية تشغيلية صريحة. قد يحسب المحلل مجموع الشحنات، لكن التدفق الهندسي يوضح أيضاً الأحداث الداخلة في الحساب، وكيف يتعامل مع التكرار والتصحيح، ومتى تظهر النتيجة، ومن يعالج الفشل. حدد مصدر الحقيقة والمستهلك وما يمثله الصف والاحتفاظ ومتطلب الحداثة. قد تنتهي عملية بنجاح وتنشر بيانات ناقصة أو بنطاق غير صحيح؛ لذلك لا بد من دليل مستقل لاكتمال العملية وآخر لقبول البيانات.

اكتب عقداً صغيراً وصريحاً للمجموعة

سجل JSON وصف تخطيط يخص هذا التطبيق، وليس لغة مخطط معيارية أو خط معالجة مجهزاً. يمثل كل صف حدث شحنة مقبولاً، وتحدد event_id هوية الحدث. على المالك أن يقرر هل يستبدل التصحيح حقائق سابقة أم ينشئ أحداثاً جديدة. لا تكفي قائمة أسماء الحقول؛ فالوحدات وقبول الفراغ ومعنى الساعة ونطاق الوصول وقواعد النشر أجزاء من العقد أيضاً. راجع أي تغيير مع المستهلكين المتأثرين قبل اعتبار حقل إضافي أو معنى معدل تغييراً بلا عواقب.

json سجل مسؤولية مجموعة اصطناعية
{
  "dataset": "synthetic-shipment-events",
  "grain": "one accepted event",
  "identity": ["event_id"],
  "owner": "training-flow-owner",
  "publication": "validated-complete-batch",
  "source": "invented-fixture-only"
}

لا ينشئ السجل خدمة أو تخزيناً؛ بل يعلن الهوية وقرار النشر اللذين يجب تنفيذهما والتحقق منهما.

ميز الاستخراج والتحقق والنشر

يحصل الاستخراج على مدخل ذي هوية، ويفحص التحقق القواعد المعلنة، ويشتق التحويل تمثيلاً جديداً، ثم يتيح النشر إصداراً مقبولاً للمستهلكين. قد تنفذ الخطوات كلها في برنامج واحد، لكنها تظل حدوداً منطقية مختلفة. احتفظ بهوية المدخل الأصلي وأسباب رفضه، حتى يمكن التحقيق في تحويل فاشل دون تخمين أي مصدر تغير. بيانات التجهيز ليست بيانات معتمدة تلقائياً؛ وعلى المستهلك قراءة إصدار مكتمل معلن، لا صفوف وسيطة لا تزال تكتب لمجرد أن المهمة بدأت.

اجعل فحص قبول واحداً قابلاً للرصد

تقبل الدالة المحلية دفعة غير خالية ذات هويات أحداث اصطناعية فريدة. لا تتحقق من كل حقل تجاري، ولا تصادق منتجاً، ولا تنفذ سجلاً إنتاجياً لعقود البيانات. قد يكون الخلو مشروعاً في تدفق آخر؛ لذا فإن اشتراط عدم الخلو هنا قاعدة محلية معلنة. يوضح المثال تحويل خصائص البيانات المتوقعة إلى تحققات قابلة للتنفيذ عندما يكون ذلك عملياً. سجل الأعداد مع مجتمعها وإصدار المدخل، واحتفظ بالحالات المرفوضة بدلاً من إسقاطها بصمت لإظهار المهمة ناجحة.

python فحص محلي لهوية دفعة اصطناعية
def accepted_batch(rows):
    ids = [row['event_id'] for row in rows]
    return bool(rows) and len(ids) == len(set(ids))

assert accepted_batch([{'event_id': 'e1'}, {'event_id': 'e2'}])
assert not accepted_batch([{'event_id': 'e1'}, {'event_id': 'e1'}])
assert not accepted_batch([])

تنجح الثنائية الصحيحة ويفشل التكرار والخلو بهذه السياسة، دون بيانات خارجية أو نظام معد.

حدد افتراض الأداة والمالك مع التغيير

يستخدم المقرر برامج من مكتبة Python المعيارية وقواعد SQLite معزولة صراحة في الذاكرة لشرح خصائص الصحة. توسم نماذج الجدولة الموزعة والتدفق والتخزين كنماذج، ولا تدعى تكاملات منصات منفذة. توفر وثائق الأطر الرسمية مصطلحات محددة، لكن اختيار أداة لا ينقل إليها مسؤولية معنى البيانات. اجمع إصدار المخطط وفترة المصدر وهوية التشغيل ودليل القبول وسلطة الرجوع. يجب أن يستدعي تغير معنى المصدر أو متطلبات المستهلك أو نطاق الخصوصية مراجعة، حتى لو ظل المجدول يبلغ النجاح.

الأخطاء الشائعة وإصلاحها

تنشر مهمة ناجحة بيانات غير صالحة

لماذا يحدث؟
حل اكتمال التنفيذ محل قبول المجموعة.
كيف تصلحه؟
حدد حد القبول المرئي للمستهلك وافرضه.
كيف تتجنب تكراره؟
تتبع فحوص البيانات منفصلة عن حالة العملية.

يتغير معنى الحقل دون ملاحظة

لماذا يحدث؟
سجل العقد الأسماء دون الوحدة والمعنى.
كيف تصلحه؟
حدد إصدار المعنى وراجع المستهلكين.
كيف تتجنب تكراره؟
ضمّن أمثلة وموافقة المالك في التغيير.

تختفي الصفوف المرفوضة دون دليل

لماذا يحدث؟
أخفى الترشيح فشل المدخل.
كيف تصلحه؟
احفظ أسباب الرفض وصالح أعداد المدخل والخرج.
كيف تتجنب تكراره؟
اجعل الرفض نتيجة تسليم صريحة.

اختبر فهمك

1. يحسب التدفق مجموعاً صحيحاً من نصف الملفات المطلوبة. هل وفى بالعقد؟

اعرض الحل المشروح

لا، إذا كان المجتمع الموعود يشمل جميع الملفات المطلوبة. صحة الحساب بُعد واحد فقط؛ أثبت اكتمال المدخل والفترة والإصدار قبل النشر. يجب أن يحتفظ التشغيل بدليل يبين الملفات المتوقعة والمستلمة والمرفوضة، بدلاً من تقديم مجموع يبدو معقولاً على أنه يمثل مجموعة البيانات كاملة.

2. من يقرر قبول دفعة يومية خالية؟

اعرض الحل المشروح

يحدد مالك المجموعة ومستهلكوها هذه القاعدة من معنى المصدر والخدمة. قد تمر أيام بلا أحداث بصورة مشروعة، وقد يدل الخلو في تدفق آخر على تسليم مفقود. صرّح بالشرط المختار ودليل إثباته، بدلاً من تطبيق تحقق عدم الخلو على جميع المسارات بلا تمييز.

أهم ما تعلمته

  • هندس معنى التسليم وحدوده وملكيته قبل الأداة.
  • حالة التنفيذ وقبول البيانات دليلان مختلفان.

المراجع الرسمية