الذكاء التوليدي / المتقدم: التقييم والموثوقية والمساءلة / الدرس 17
التقييم العدائي وتقييم الحدود
اختبر حفظ المهمة والوصول والبيانات تحت مدخل عدائي دون ادعاء أن مجموعة محدودة تثبت أمانا شاملا.
في هذه الصفحة
أهداف الدرس
- اشرح افتراضات وحدود الثقة المتعلقة بموضوع «التقييم العدائي وتقييم الحدود».
- فسر المثالين وميز نتيجة العينة المحلية من دليل النموذج أوالإنتاج.
- شخص الإخفاقات وعلل القرارات المشروحة مع حفظ عقد المهمة والبيانات والإذن وعدم اليقين.
البدء بالأصول والنتائج المسموحة
سم البيانات والقدرة والهدف والهوية والمحظور؛ وتختلف مقاومة الحقن والخصوصية والإذن والمتانة. قد يمنع كتابة ويسرب عنوانا. تغير المجموعة اقتراحا اصطناعيا ببوابة ضيقة لا تهاجم نموذجا أوخدمة. حدد ما تدحضه وما لم يختبر قبل النتيجة الأمنية.
def permitted(proposal):
return (set(proposal) == {"tool", "source_id"}
and proposal["tool"] == "lookup"
and proposal["source_id"] == "lab-a")
cases = [({"tool": "lookup", "source_id": "lab-a"}, True),
({"tool": "lookup", "source_id": "lab-b"}, False),
({"tool": "send", "source_id": "lab-a"}, False),
({"tool": "lookup", "source_id": "lab-a", "approved": True}, False)]
for proposal, expected in cases:
assert permitted(proposal) is expected
print(f"{len(cases)} boundary fixtures passed")
4 boundary fixtures passed
تفحص أربع حالات بوابة واحدة لا سلوك نموذج أوجميع طرق الكشف.
استخدام سلبية تعبر حدود الثقة الفعلية
اختبر تعليما غير موثوق ومشابها محظورا وحقول موافقة وأداة ومخططا ومراجع قديمة، بأثر وهمي وبيانات عامة. يفوت مرشح العبارة صياغة ويمنع اقتباسا سليما، فلا يغني عن الإذن. اختبر المستهلك رغم امتثال التوليد، وترفض المجموعة الشكل الصحيح غير المسموح كخاصية واحدة لا عصمة.
تنويع الشروط دون تلويث المحجوز
قد يغير الموضع واللغة والشكل والترتيب والأداة والتاريخ التعرض. تسمي المصفوفة أبعادا لا إجراء هجوم. افصل التطوير والمحجوز وسجل المكتشف، ولا تثبت مجموعة اليوم كل غد بعد التغيير. ضم السليم والمسموح كي لا يكافأ رفض الجميع وافصل الحماية والفائدة.
evaluation_dimensions:
- trusted-task-versus-retrieved-instruction
- allowed-source-versus-other-tenant-neighbor
- current-evidence-versus-stale-version
- benign-quotation-versus-policy-changing-content
- proposed-action-versus-actual-authorized-effect
status: synthetic-test-design-not-an-external-attack
توجه الأبعاد اختبارا آمنا ولا تشغل خدمة هجوم أوهدفا أوتصادق على كل البدائل.
تقييم الطبقات والخطر المتبقي
تحمي الضوابط حدودا مختلفة ولا يعالج واحد الجميع. سجل الاقتراح المحظور ومنعه دون تسمية النموذج ممتثلا أونظاما مخترقا قبل الأثر. لا يمحو منع الأداة كشف النص. احفظ الدليل والقرار والمالك بلا أسرار وعملاء.
إذن الاختبار والتقرير الصادق
يحتاج الحقيقي نطاقا وإذنا وحماية وتوقفا واستجابة؛ ولا تنفذ الدورة مسحا أونموذجا أوشبكة أوأداة. أبلغ الحالات والإعداد والنتيجة والحدود دون حساس وأعد المناسب بعد التغيير. يقوى الدليل بحد مفروض واستعادة وصدق غير المقاس لا ضمان كامل من موجهات قليلة.
الأخطاء الشائعة وإصلاحها
تعد قائمة عبارات دفاع حقن كاملا
- لماذا يحدث؟
- حل النمط محل السلطة المفروضة.
- كيف تصلحه؟
- افحص الإذن والأثر مستقلين.
- كيف تتجنب تكراره؟
- ضم المتنوع والسليم وافحص المستهلك.
يبلغ المنع امتثالا كاملا للنموذج
- لماذا يحدث؟
- اختلط الاقتراح والإنفاذ.
- كيف تصلحه؟
- أبلغ الفشل والمنع معا.
- كيف تتجنب تكراره؟
- استخدم نتائج طبقية.
تعد المجموعة الناجحة أمانا شاملا
- لماذا يحدث؟
- أغفل غير المختبر والتغيير.
- كيف تصلحه؟
- حدد النطاق والباقي ومحفز الإعادة.
- كيف تتجنب تكراره؟
- احفظ الحالات والمراجعة المرقمتين.
اختبر فهمك
1. يقترح النموذج كتابة ممنوعة وترفضها البوابة. ماذا تسجل؟
اعرض الحل المشروح
سجل اقتراحا مخالفا ومنعا ناجحا وافحص الباقي؛ فلا امتثال كامل ولا إثبات كتابة، مع وضوح المرحلتين والخطر.
2. لماذا تدرج اقتباسا سليما بكلمات تعليمية؟
اعرض الحل المشروح
تكشف الإيجاب الكاذب والرفض المفرط. احفظ المهمة المسموحة وارفض العبور؛ فرفض الكل ليس نجاح تطبيق.
أهم ما تعلمته
- سم البيانات والقدرة والهدف والهوية والمحظور؛ وتختلف مقاومة الحقن والخصوصية والإذن والمتانة.
- قد يغير الموضع واللغة والشكل والترتيب والأداة والتاريخ التعرض.
- يحتاج الحقيقي نطاقا وإذنا وحماية وتوقفا واستجابة؛ ولا تنفذ الدورة مسحا أونموذجا أوشبكة أوأداة.