تشخيص نتائج التدفق المتأخرة والدفعات المعادة

افهم الأسباب المحتملة

• تتبع العلامات المائية تقدم زمن الحدث وفق قواعد العامل، لا فترة انتظار ثابتة من الساعة. وتحدد أنماط المخرج هل النتائج قابلة للمراجعة أونهائية. تنسق نقاط التحقق التعافي، بينما تحتاج الوجهات المخصصة بروتوكول تثبيت يمنع التكرار أويستخدم معاملات. يغير حذف نقطة التحقق تاريخ التعافي، وقد يعيد البيانات.

حدد الساعة ووعد المخرج

قارن event_time ووقت الاستلام وتقدم المعالجة على تسلسل اصطناعي صغير معتمد. قد ينتظر مخرج النافذة في Append نهائية يثبتها تقدم العلامة، بينما يستطيع المخرج بنمط التحديث مراجعة الإجمالي. لا تجبر فترة تحفيز قصيرة مصدراً خاملاً على تقدم علامته الزمنية. افحص العملية المدعومة وموضع العلامة ونمط المخرج قبل زيادة الموارد. وقد يشوه طابع زمني بعيد في المستقبل التقدم أيضاً؛ فتحقق من اصطلاحات المصدر، ولا تنسب كل نافذة متأخرة إلى قلة المنفذين. لا يبدأ الدليل تدفقاً ولا يراقبه.

استخدم خطاً زمنياً محلياً دون مبالغة في دلالته

يطرح الخط الزمني تأخراً قدره عشر دقائق من أقصى وقت حدث مرصود13:40، فيعطي حداً مرشحاً13:30. ليس هذا علامة Spark مرصودة، ولا يثبت تنظيف الحالة فوراً. تبقى دورة دفعات المحرك وسياسة العلامة للمدخلات المتعددة وأهلية العامل عوامل ذات صلة. في بيئة مصرح بها، سجل عدد صفوف الحالة ومدة الدفعة مع تقدم زمن الحدث. وقد تختلف معالجة البيانات الأقدم من العلامة باختلاف العملية؛ فحد التأخر ليس دفتر رفض تلقائياً كاملاً. احفظ هويات المصدر إذا احتاجت السجلات المتأخرة إصلاحاً أومسار تصحيح مستقلاً.

maximum observed event time:13:40
configured delay:10 minutes
local candidate:13:30
engine conclusion:inspect supported query progress and output mode

طابق مهلة الوجهة قبل الإعادة

قد تثبت الوجهة البيانات قبل ضياع إقرارها. يحفظ الدفتر المحلي نتيجة مجهولة للعملية q2:8، بدلاً من وصفها بالمرفوضة. يجب أن تتبع هوية الاستعلام وهوية الدفعة معاً تاريخ نقطة التحقق المختار. توفر foreachBatch مرة واحدة على الأقل افتراضياً، إلا إذا منع بروتوكول مناسب تكرار الأثر. قد تفقد علامة تكتب منفصلة قبل الحمولة بيانات؛ وقد تسمح المكتوبة بعدها بتكرارها. تحقق من العلاقة الذرية المدعومة أوالتصميم المثبت لمنع التكرار، وافحص دليل النتيجة الدائمة الموجود قبل إرسال آخر.

{"operation_key":"q2:8","sink_outcome":"unknown","action":"reconcile durable outcome before replay","checkpoint_reset":"not a routine fix"}

راجع التوافق قبل تغيير حالة التعافي

لتغييرات نقطة التحقق واحتفاظ المصدر وتعديل الاستعلام ذي الحالة قيود مستقلة. قد تعيد نقطة جديدة بيانات مصدر قديمة، بينما قد يجعل انتهاء احتفاظ المصدر التعافي المطلوب مستحيلاً. لا تحذف الحالة لتقليل الذاكرة من دون تقرير ما يتغير من ضمانات التأخر والتكرار. تمرن على الانقطاع قبل تثبيت الوجهة وبعده، وتحقق من مواضع المصدر والحالة وأثر مقصود واحد لكل مفتاح عملية. يحتاج استعلام يكتب إلى وجهتين مطابقة للنجاح الجزئي، لأن الكتابتين ليستا معاملة واحدة تلقائياً. لا ينفذ الدليل تصفير نقطة أوإعادة تشغيل أوقراءة مصدر أوكتابة وجهة.

امنع تكرار المشكلة

• احفظ إصدارات الاستعلام وملكية نقطة التحقق، واحتفظ بتاريخ مصدر قابل للإعادة، ووثق دلالات الوجهة، وراقب الحالة مع تقدم زمن الحدث. احتفظ بدليل تعافٍ يحسم النتائج المجهولة قبل السماح بالإعادة أواستبدال نقطة التحقق.