تحليل البيانات / الأساسي: الأسئلة والجداول الموثوقة / الدرس 5
الإحصاء الوصفي وفهم التوزيعات
صف الموقع والتغير معاً، واختر تعريفات الملخصات التي تلائم البيانات والسؤال بدلاً من الاعتماد على إعداد افتراضي.
في هذه الصفحة
أهداف الدرس
- مقارنة المتوسط والوسيط والتشتت وشكل التوزيع معاً.
- تمييز اصطلاح تباين المجتمع من مقدر تباين العينة.
- تحديد طريقة الكميات المئينية وسياسة مراجعة الشواذ صراحة.
لا يصف مركز واحد مجموعة البيانات كاملة
يصف التوزيع ترتيب القيم وانتشارها، لا موضع المتوسط وحده. اعرض مركزاً مناسباً مع التشتت والعدد والشكل. قد تتساوى مجموعة متناظرة متقاربة مع أخرى طويلة الذيل في المتوسط، مع اختلاف التجربة التي تمثلها كل منهما. افحص رسماً أو قيماً مرتبة قبل اختزال الجدول كله في رقم واحد.
يستخدم المتوسط الحسابي كل قيمة ويتأثر بالمشاهدات المتطرفة. يصف الوسيط رتبة وسطية وغالباً يقل تأثره بذيل طويل. لا يكون أحدهما الجواب الصحيح تلقائياً: قد يناسب المتوسط سؤال المجموع لكل وحدة، ويصف الوسيط مشاهدة وسطى في الترتيب. حدد السؤال الذي يجيب عنه كل ملخص قبل المقارنة بينهما.
فسّر اختلاف المتوسط والوسيط بدلاً من إخفائه
يحتوي المثال الأول قيمة كبيرة مع ثلاث قيم صغيرة، فيكون المتوسط 26.5 والوسيط 2.5. يعكس الاختلاف شكل التوزيع ولا يبرر إخفاء أحد العددين. يغير حذف 100 لمجرد جعل المتوسط أقرب إلى «المعتاد» المجتمع المدروس. تحقق أولاً هل القيمة خطأ وحدة أم حدث صحيح فعلاً.
اعرض العدد والوحدة والسياق دائماً. يحتاج متوسط أربع مشاهدات معالجة لعدم اليقين تختلف من متوسط مماثل في عينة كبيرة صممت بعناية. لا يثبت الحساب الوصفي وحده تمثيل المجتمع، ولا يقدم تفسيراً سببياً لوجود الذيل. اشرح ما تقوله الأعداد وما لا تكشفه طريقة جمعها.
from statistics import mean, median
values = [1, 2, 3, 100]
print(f"n={len(values)} mean={mean(values):.2f} median={median(values):.2f}")
n=4 mean=26.50 median=2.50
تجذب القيمة الكبيرة المتوسط الحسابي، بينما يحدد العددان الأوسطان الوسيط. تبقى النتيجتان 26.50 و2.50 صحيحتين وفق تعريفيهما.
سمّ المقام المستخدم عند حساب التشتت
يقسم تباين المجتمع مجموع مربعات الانحرافات على N عند وصف المجموعة المنتهية كاملة بهذا الاصطلاح. يستخدم مقدر تباين العينة غير المتحيز المعتاد N ناقص واحد تحت افتراضات معاينة مستقلة مناسبة. تستخدم NumPy var افتراضياً ddof=0، وتستخدم statistics.variance اصطلاح العينة. لا يختار افتراضي المكتبة الغرض التحليلي نيابة عنك.
يحدد المثال الثاني ddof صراحة حتى يظهر الفرق بين المقامين. للانحراف المعياري وحدة القياس الأصلية، وللتباين مربع تلك الوحدة. أما الخطأ المعياري للمتوسط فكمية أخرى تصف تغير المقدر بافتراضات، لا تشتت الأفراد. ستوضح الدروس اللاحقة لماذا لا يجوز استبدال هذه التسميات لمجرد تشابه الأرقام.
import numpy as np
values = np.array([1.0, 2.0, 3.0], dtype=np.float64)
population = np.var(values, ddof=0)
sample = np.var(values, ddof=1)
print(f"population={population:.2f} sample={sample:.2f}")
population=0.67 sample=1.00
تستخدم NumPy 1.26.4 مجموع الانحرافات نفسه بمقامين 3 و2، فتنتج القيمتان المعروضتان 0.67 و1.00. يأتي الفرق من التعريف لا خطأ الحساب.
حدد طريقة الاستيفاء للكميات المئينية
تلخص المئينية موضعاً مرتباً، لكن خوارزميات العينات المنتهية تختلف في الاستيفاء والتعامل مع الأطراف. توفر statistics.quantiles في Python طرقاً مسماة، وتحدد المكتبات العددية اختياراتها الموثقة أيضاً. سجل الطريقة عند مقارنة تقارير، خصوصاً مع العينة الصغيرة؛ فقد تختلف أداتان مع صحة حساب كل منهما لتعريفه المختار.
يصف المدى والمدى الربيعي ومقاييس التشتت المتينة خصائص مختلفة. ليس سياج مخطط الصندوق برهاناً أن كل نقطة وراءه خاطئة. قد تجعل القمم المتعددة أو خليط الفئات المركز المفرد مضللاً. اعرض توزيعات الفئات عندما تشير عملية توليد البيانات إلى اختلافات موضوعية مهمة تستحق الفصل، لا لمجرد تحسين شكل العرض.
استخدم دقة عرض تدعمها الأدلة
لا تعرض منازل كثيرة لمجرد أن البرنامج يطبعها. طابق الدقة مع دقة القياس والمقارنة المطلوبة، واحفظ دقة داخلية كافية للحساب. قد يجعل التقريب فئات صغيرة تبدو متعادلة أو مجموع النسب مختلفاً قليلاً عن 100؛ اشرح أثر العرض بدلاً من تعديل البيانات خفية لإصلاح المظهر.
تحقق قبل الحساب من القيم المنتهية والغياب والوحدات ووحدة السجل. قد يكون لترتيب NaN سلوك مفاجئ، وتحتاج المجموعة المفقودة كلها أو الصغيرة جداً سياسة غياب نتيجة. أضف العدد والمفقود ذي الصلة إلى الملخص، وأجّل أي ادعاء عن المجتمع إلى حين وجود تصميم معاينة يبرره.
الأخطاء الشائعة وإصلاحها
اختلف تقريرا تباين للبيانات نفسها.
- لماذا يحدث؟
- استخدم كل تقرير ddof أو اصطلاح مجتمع وعينة مختلفاً.
- كيف تصلحه؟
- سجل المقام المختار وقارن تعريفين متماثلين قبل الحكم على النتيجة.
- كيف تتجنب تكراره؟
- اختبر بيانات صغيرة يمكن حسابها يدوياً.
وُصفت قيمة نموذجية بمتوسط مجموعة ملتوية وحده.
- لماذا يحدث؟
- أُهمل شكل التوزيع وتأثير الذيل على المتوسط.
- كيف تصلحه؟
- اعرض الوسيط والتشتت ومنظور التوزيع عندما يناسب السؤال.
- كيف تتجنب تكراره؟
- افحص الخام أو ترتيبه قبل تلخيصه.
أصبح سياج الشواذ قاعدة حذف آلية.
- لماذا يحدث؟
- عومل اصطلاح وصفي كأنه برهان على فساد المشاهدة.
- كيف تصلحه؟
- افحص المصدر واعرض حساسية النتيجة قبل أي استبعاد.
- كيف تتجنب تكراره؟
- احفظ القيم المعلّمة ومبررات التعامل معها.
اختبر فهمك
1. فسّر المتوسط والوسيط للقيم [1,2,3,100] دون وصف أحدهما بالخاطئ.
اعرض الحل المشروح
المتوسط 26.5 هو المجموع 106 مقسوماً على أربع، ويفيد تفسير المجموع لكل مشاهدة. الوسيط 2.5 يقع بين القيمتين الوسطيتين المرتبتين ويصف الرتبة المركزية. القيمة الكبيرة جزء حقيقي من المثال؛ لذلك اشرح التوزيع ولا تنتقِ إحصاءً مواتياً. ولا يثبت أيهما استنتاجاً عن مجتمع أوسع.
2. لماذا لا يعوض الخطأ المعياري الانحراف المعياري عند وصف أزمنة انتظار الأفراد؟
اعرض الحل المشروح
يصف الانحراف المعياري اختلاف القياسات الفردية، ويصف الخطأ المعياري عدم اليقين في متوسط مقدر وفق نموذج. قد تجعل عينة كبيرة المتوسط دقيقاً مع بقاء انتظار الأفراد شديد التفاوت. اعرض الكمية المناسبة مع الوحدة والحجم والافتراضات، ولا تستخدم الأصغر لإظهار تفاوت الخدمة منخفضاً.
أهم ما تعلمته
- صف المركز والتشتت والعدد والشكل معاً.
- يجب أن يكون مقام التباين وتعريف المئينية صريحين وقابلين للمقارنة.
- لا تثبت الملخصات الوصفية صحة المعاينة أو العلاقة السببية.