الذكاء التوليدي / الأساسي: أسس التوليد والدليل / الدرس 5
التضمينات والتشابه وهوية الفهرس
فسر تشابه المتجهات كإشارة استرجاع مرتبطة بالنموذج بأبعاد وإصدارات وإذن وحدود تقييم.
في هذه الصفحة
أهداف الدرس
- اشرح افتراضات وحدود الثقة المتعلقة بموضوع «التضمينات والتشابه وهوية الفهرس».
- فسر المثالين وميز نتيجة العينة المحلية من دليل النموذج أوالإنتاج.
- شخص الإخفاقات وعلل القرارات المشروحة مع حفظ عقد المهمة والبيانات والإذن وعدم اليقين.
المتجه تمثيل لا حقيقة
يحمل التضمين المدخل إلى تمثيل عددي بنموذج وتحضير. يفيد القرب للاسترجاع ولا يثبت الحقيقة أوالصلة أوحق الكشف. يستخدم المثال متجهين يدويين لحساب جيبي فقط لا تمثيلا متعلما أوتنزيلا أومجموعة حقيقية. تتبع الفائدة المهمة واللغة والمجال والتدريب والتجميع والمدخل لا كلمة تضمين.
تعريف المقياس وافتراضاته
يقارن الجيب الاتجاه مع الطول، وتختلف النقطة والمسافة إلا بعقد تطبيع. عالج الصفري والأبعاد والقيم غير المنتهية. ترفض الدالة الفارغ والمختلف والصفر، وتطبع 1 و 0 بمدخل بسيط. عاير العتبة للمهمة؛ فليس 0.8 احتمال صحة 80% تلقائيا.
import math
def cosine(left, right):
if not left or len(left) != len(right):
raise ValueError("incompatible dimensions")
left_norm = math.sqrt(sum(value * value for value in left))
right_norm = math.sqrt(sum(value * value for value in right))
if left_norm == 0 or right_norm == 0:
raise ValueError("zero vector")
return sum(a * b for a, b in zip(left, right)) / (left_norm * right_norm)
print(round(cosine([1, 0], [1, 0]), 3))
print(round(cosine([1, 0], [0, 1]), 3))
try:
cosine([0, 0], [1, 0])
except ValueError as error:
print(str(error))
1.0
0.0
zero vector
يسجل المطابق 1 والمتعامد 0 ويرفض الصفري دون دلالات لغوية متعلمة.
ترقيم تمثيل السؤال والوثيقة معا
يلزم للفهرس هوية المرمز ومراجعته والأبعاد والتحضير والتجزئة والتطبيع والمسافة. يربط السجل الخيارات بإصدار؛ وقد يفسد الخلط الترتيب ولو تساوت الأبعاد. يحتاج التغيير نقل الفهرس والسؤال لا اسما فقط، مع بيانات المصدر والوصول للحذف والترشيح. قد يبقى القديم بعد تغير المصدر دون تحديث صريح.
index_revision: lab-index-3
encoder_revision: synthetic-encoder-v2
query_encoder_revision: synthetic-encoder-v2
dimensions: 2
metric: cosine
chunk_policy: lab-paragraph-v1
access_scope: enforced-by-application-before-exposure
المرمز خيالي ولا يولد متجهات؛ وتوافق البيانات سياق لا إثبات جودة أوخصوصية.
جمع الصلة والوصول والخصوصية
يلزم إذن الفاعل قبل وصول المحمي للتوليد والسجل؛ فليس الأقرب قرارا. قد تحفظ المتجهات معلومات ولا تعد مجهلة افتراضا. راجع التخزين والمعالجة والاحتفاظ والحذف للنص والمتجه. تقايض التقريبي الموارد والاستدعاء ولا يثبتها حساب صغير. اختبر المشابه المحظور مع الصلة.
قياس المهمة لا الإعجاب بالرسم
قس ظهور المصرح ذي الصلة بالرتب ولغات وأسئلة ممثلة مع النادر والمكرر والتغيير. قارن اللفظي والكثيف والهجين بثابت لا أفضلية مطلقة. قد يخفي الرسم ثنائي الأبعاد الهندسة؛ فلا يستبدل المقاييس والتحليل. الأمثلة محلية بلا خدمة أو DB أوادعاء معيار، والتشابه إشارة لا إثبات فهم وحقيقة.
الأخطاء الشائعة وإصلاحها
يبلغ التشابه احتمال حقيقة
- لماذا يحدث؟
- اختلط المقياس بالثقة المعايرة.
- كيف تصلحه؟
- قيم الصلة والسند مستقلين.
- كيف تتجنب تكراره؟
- وثق المعنى والمعايرة.
يستخدم الفهرس والسؤال مرمزين مختلفين
- لماذا يحدث؟
- لم ترقم الهوية معا.
- كيف تصلحه؟
- حاذ أوانقل العقد كاملا.
- كيف تتجنب تكراره؟
- احفظ الهوية والتحضير مع الفهرس.
تكشف وثيقة محمية لتشابهها
- لماذا يحدث؟
- تجاوز الترتيب الإذن والنطاق.
- كيف تصلحه؟
- رشح النطاق قبل الكشف.
- كيف تتجنب تكراره؟
- اختبر شبيها من نطاق مستبعد.
اختبر فهمك
1. يخرج مرمزان أبعادا متساوية. هل يقارنان تلقائيا؟
اعرض الحل المشروح
لا؛ للمواضع معنى بعقد التمثيل والتحضير، والطول شرط شكل. حاذ الهوية والتطبيع أواختبر توافقا مصمما قبل الجمع.
2. لوثيقة درجة 0.95 تخص مستأجرا آخر. ماذا تفعل؟
اعرض الحل المشروح
استبعد المحمي مهما تشابه، ولا يمنح الترتيب حقا. تحقق من عدم التسرب بالتوليد والمخزن والسجل والمرجع أيضا.
أهم ما تعلمته
- يحمل التضمين المدخل إلى تمثيل عددي بنموذج وتحضير.
- يلزم للفهرس هوية المرمز ومراجعته والأبعاد والتحضير والتجزئة والتطبيع والمسافة.
- قس ظهور المصرح ذي الصلة بالرتب ولغات وأسئلة ممثلة مع النادر والمكرر والتغيير.