Apache Spark / المتقدم: التدفق والتشغيل القابل للتعافي / الدرس 17

أمن النشر وتغليف التطبيق القابل للإعادة

حدّد مواضع العمليات وهوية التشغيل وملكية التبعيات، دون اعتبار نجاح الإرسال نشراً آمناً.

وقت القراءة التقريبي: 4 دقيقةتاريخ مراجعة المحتوى 2026-10-28

في هذه الصفحة

أهداف الدرس

ميّز حدود وضع العميل ووضع العنقود وSpark Connect.
راجع صلاحيات الشبكة والواجهة والتخزين وتبعيات العامل مستقلة.

يغير موضع المشغّل افتراضات الفشل والوصول

في وضع client، يعمل المشغّل مع عملية العميل المرسل؛ وفي cluster، يستضيفه مدير عنقود يدعم الوضع. تختلف التركيبات المدعومة، فلا يفترض تطبيق Python قبول كل مدير لكل وضع. يتبع الموضع الوصول للمشغّل وسجلاته ومسؤولية استئنافه وملفات المصدر. ويفصل Connect كود العميل عن مشغّل الخادم بطريقة مختلفة، ولا يعرض كل الواجهات التقليدية الدنيا. سمِّ البنية قبل تشخيص مسار يعمل بالحاسوب لا بالمنفذ. لا يُنفذ أمر إرسال هنا.

نموذج المواضع ليس وصفة نشر

يوضح المخطط ملكية المشغّل دون اختراع عنوان عنقود أوسر. قد يشير المسار المحلي في client إلى جهاز الإرسال وحده، بينما تحتاج المهام مصدراً متاحاً عبر البيئة المعتمدة. ويختلف تغليف الكود عن توزيع المكتبات الأصلية وبيئات Python. سجل الإصدار وبيئة اللغة وملفات التبعيات المطلوبة على الجانبين. لا تثبت حزمة تفاعلياً بعقدة وتفترض قابلية إعادة التطبيق. وقد توفر المنصات المدارة آليات إضافية للتغليف والهوية تحتاج وثائقها.

text مثال تقني توضيحي؛ النتائج المنطقية مستنتجة ولم تُختبر على المحرك.

client deploy mode:submitting process owns driver
cluster deploy mode:supported cluster manager hosts driver
Spark Connect:client sends supported plans to a separate server
all modes:verify executor data and dependency access

خريطة مفاهيمية لا تكوين منفذ، ولا تعني دعم كل تركيب لغة ومدير.

المصادقة والتشفير ليسا افتراضين تلقائيين

تحذر وثائق أمن Spark 4.0.1 المسماة من أن أمن النشر ليس مفعلاً افتراضياً ويعتمد على نوعه. مصادقة RPC وتشفير النقل والوصول للواجهة وسجلات التاريخ وصلاحيات التخزين أسطح مستقلة؛ لا يؤمّن إعداد واحد جميعها. ويشغّل التطبيق كود مستخدم، فسلطة الإرسال حد ثقة قوي. قيّد التعرض للشبكة واستخدم إجراءات الهوية والشهادة المدعومة لدى المالك. لا يقدم الدرس أسراراً أوأوامر تهيئة عنقود ولا يدعي أن مقطعاً قصيراً يثبت خدمة آمنة متعددة المستأجرين.

افصل الوصول اللازم عن الوصول الواسع المريح

يميز نموذج السياسة قراءة مصدر معتمد وكتابة مخرج ذي إصدار وصيانة نقطة مخصصة. ويمنع المصدر غير المرتبط والإدارة لحساب التشغيل الاصطناعي. JSON قائمة مراجعة لا ACL لـSpark أوسياسة IAM سحابية. يخص الإنفاذ مدير العنقود والتخزين والشبكة والتطبيق. قدّم الأسرار بآليات معتمدة واحجبها من التكوين والواجهة وسجل الأحداث. لا تثبت قراءة إدارية ناجحة امتلاك حساب التطبيق الصلاحيات الضيقة الصحيحة.

json مثال تقني توضيحي؛ النتائج المنطقية مستنتجة ولم تُختبر على المحرك.

{"scope":"synthetic runtime access review","allow":["approved source read","versioned output write","dedicated checkpoint access"],"deny":["unrelated datasets","cluster administration"],"secrets":"approved external mechanism, never embedded"}

نموذج مراجعة سياسة محلي؛ لا ينشئ حساباً أودوراً أوصلاحية تخزين أوبيانات اعتماد.

أثبت إعادة الإنتاج ومسارات المنع معاً

يتحقق تمرين نشر مستقل مصرح به من حزمة التطبيق واستيراد العمال والوصول للمصدر والمخرج ومنع غير المرتبط وحجب السجلات وملكية التعافي. احفظ إصدارات التطبيق والبيئة. لا يثبت اختبار مفسر محلي تغليف العامل البعيد أوأمن الشبكة. ولا يغطي ترخيص Spark Apache 2.0 تلقائياً كل موصل أوتبعية أوميزة خدمة تجارية؛ راجعها مستقلة. لا تثبت الدورة تبعيات أوترسل وظيفة أوتغير أمناً أوتتصل بتخزين أوعنقود؛ تفحص محلياً المخطط وJSON فقط.

الأخطاء الشائعة وإصلاحها

لا يستطيع المنفذ قراءة ملف محلي للمشغّل

لماذا يحدث؟: عومل مسار جهاز الإرسال كتخزين متاح للجميع.
كيف تصلحه؟: استخدم المصدر الموزع المعتمد وافحص مواضع العمليات.
كيف تتجنب تكراره؟: اختبر الوصول بهوية التشغيل الفعلية في العمال.

يُفترض أن الإرسال العامل آمن

لماذا يحدث؟: اختلط الاتصال بالمصادقة والتفويض والتشفير.
كيف تصلحه؟: راجع كل سطح أمني وفق وثائق النشر.
كيف تتجنب تكراره؟: ضمّن مسارات المنع وكشف السجلات في القبول.

يصبح تثبيت حزمة بعقدة تبعية غير موثقة

لماذا يحدث؟: تغيرت بيئات العمال خارج عملية حزم قابلة للإعادة.
كيف تصلحه؟: غلّف التبعيات وأصدرها بالآلية المعتمدة.
كيف تتجنب تكراره؟: سجّل احتياجات المشغّل والعامل معاً.

اختبر فهمك

1. لماذا يعمل مسار في عملية العميل ويفشل في مهمة؟

اعرض الحل المشروح

قد يوجد المسار على جهاز الإرسال فقط. تعمل المهام في بيئات منفذين بملفات وهوية خاصة. تحقق من الوصول المشترك والتغليف المعتمدين ولا تنسخ ملفات أوأسراراً للكود. موضع المشغّل وسلطة التخزين حقيقتان منفصلتان.

2. هل يثبت تفعيل مصادقة RPC خلو سجل الأحداث من الأسرار؟