Elasticsearch / المتقدم: استرجاع صامد وقابل للتعافي / الدرس 17
البحث المتجهي والاسترجاع الهجين
اربط التضمينات والمرشحين التقريبيين ودمج الرتب بملاءمة مقتنيات مقاسة وقيود وصول صريحة.
في هذه الصفحة
أهداف الدرس
- اشرح أبعاد المتجهات وتوافق النموذج والاستدعاء التقريبي.
- قيّم الترتيب الهجين من دون جمع درجات غير قابلة للمقارنة اعتباطياً.
للمتجه معنى ضمن نموذجه
يمكن لنموذج تضمين تمثيل وصف قطعة بمتجه رقمي، بحيث تقع الأوصاف المتقاربة دلالياً على مسافات قريبة وفق مقياس تشابه مختار. المتجه التعليمي ذو الأرقام الثلاثة ليس نموذج لغة مدرباً للمتحف. تحتاج متجهات المستند والاستعلام إلى أبعاد ومعالجة مسبقة ودلالات نموذج متوافقة؛ ولا يثبت تساوي الطول وحده التوافق. احتفظ بإصدار نموذج التضمين مع البيانات المفهرسة، وخطط لإعادة البناء عند تغييره. وتظل رموز الاقتناء الدقيقة والأسماء والشروط بحاجة إلى استرجاع لفظي أو منظم. قد يعيد التشابه الدلالي قطعة تبدو معقولة لكنها خاطئة واقعياً، فلا يجيز الوصول ولا يثبت حقيقة الفهرس.
صرّح بعقد المتجه
يعلن جزء التعيين dense_vector مفهرساً بثلاثة أبعاد وتشابه cosine. تستخدم التضمينات الحقيقية غالباً أبعاداً أكبر يحددها نموذجها؛ واختيرت ثلاثة هنا لتوضيح الحساب المحلي فقط. يقارن cosine الاتجاهات، ولا يُعرّف لمتجه صفري؛ فتحقق من مخرجات النموذج ومتطلبات المقياس المختار. وتضيف فهرسة المتجهات بُنى بيانات واحتياجات ذاكرة أو تخزين مؤقت تتجاوز حقول keyword العادية. لا تدع أن إضافة متجه إلى فهرس قائم مجانية. راجع خيارات الفهرس وافتراضاته للإصدار الدقيق، ولا تفترض أن كل إعداد في 8.x و9.x يعمل بالطريقة نفسها.
{"mappings":{"properties":{"embedding":{"type":"dense_vector","dims":3,"index":true,"similarity":"cosine"},"status":{"type":"keyword"}}}}هذا تعيين تعليمي اصطناعي بثلاثة أبعاد، وليس توصية بنموذج تضمين إنتاجي.
يقايض التقريب عمل المرشحين بالاستدعاء
يطلب جسم kNN خمسة جيران من بحث مرشحين أوسع، ويضع شرط status=displayed داخل kNN. قيم المرشحين تخص السيناريو، وليست أرقام ضبط عامة. قد يفوت البحث التقريبي جيراناً هم الأقرب فعلاً؛ وقد تحسن زيادة عمل المرشحين الاستدعاء مقابل زمن وموارد إضافيين. وقد يترك شرط وصول يطبق بعد الاسترجاع فقط نتائج مؤهلة قليلة، أو يكشف مراحل وسيطة غير مقصودة؛ لذلك افرض السياسة المدعومة في المرحلة الصحيحة. يمكن للتقييم الدقيق بالقوة الغاشمة أن يكون مرجعاً صغيراً، لكنه يتوسع بطريقة مختلفة ولا ينبغي تشغيله عابراً على مجموعة ضخمة.
{"knn":{"field":"embedding","query_vector":[1,0,0],"k":5,"num_candidates":20,"filter":{"term":{"status":"displayed"}}},"_source":["artifact_id","title"]}يلزم وجود متجهات مفهرسة متوافقة ودلالات kNN مدعومة. متجه الوحدة اصطناعي، ولا يُدعى الحصول على نتيجة أقرب جيران من المحرك.
اجمع الرتب دون افتراض مقياس درجات واحد
تنشأ درجات BM25 اللفظية ودرجات تشابه المتجهات من نموذجين مختلفين. وقد يجعل جمعهما بأوزان متساوية اعتباطية مقياساً واحداً يهيمن. تجمع reciprocal rank fusion مواضع الرتب في قوائم النتائج، بثابت ترتيب ونافذة محدودة وفق واجهة retriever الموثقة. ومع ذلك، تعتمد على جودة المرشحين واختيارات النافذة؛ ولا تستعيد قطعة ملائمة غائبة عن جميع القوائم. تحقق من إتاحة RRF والاستدلال وميزات النموذج للإصدار والاشتراك الدقيقين، ولا تفترض أن كل ميزة موثقة مشمولة. فبساطة صيغة دمج الرتب مفهوماً مسألة مستقلة عن إتاحة تنفيذها في منتج مرخص.
قِس الملاءمة والكلفة وتغطية اللغات معاً
قارن المرشحين اللفظيين والمتجهيين والهجينين على مقاصد محكّمة، تشمل الأسماء الدقيقة ورموز الاقتناء النادرة والأوصاف العربية والجيران الدلاليين المضللين. قِس استدعاء المرشحين عند العمق المختار وجودة الترتيب النهائي منفصلين. في الهندسة المحلية فقط، يكون cosine للمتجه [1,0,0] مع نفسه واحداً، ومع [0,1,0] صفراً؛ ولا يتنبأ هذا الحساب بالفائدة الدلالية أو بتحويل الدرجة النهائي في Elasticsearch. احتفظ بأصل النموذج وخصوصية النص المرسل وكلفة الاستدلال ضمن التصميم. لا تنزل الدورة نموذجاً، ولا تستدعي خدمة تضمين، ولا تنشئ فهرس متجهات، ولا تقيس استرجاعاً.
الأخطاء الشائعة وإصلاحها
تتساوى أبعاد المتجهات لكن الاسترجاع ضعيف
- لماذا يحدث؟
- جاءت متجهات المستند والاستعلام من دلالات نموذج أو معالجة مسبقة غير متوافقة.
- كيف تصلحه؟
- وحّد إصدارات النموذج، وأعد بناء التمثيل المتأثر.
- كيف تتجنب تكراره؟
- احفظ أصل النموذج واختبر أزواجاً دلالية معلومة.
تتجاهل النتائج الهجينة معرّفات المقتنيات الدقيقة
- لماذا يحدث؟
- طغى الترتيب الدلالي على مسار الهوية اللفظية أو حذفه.
- كيف تصلحه؟
- احفظ قاعدة صريحة لاسترجاع المعرّفات وتقييماً محكّماً لها.
- كيف تتجنب تكراره؟
- ضمّن مقاصد الرموز الدقيقة النادرة في كل تجربة ملاءمة.
يُفترض أن زيادة k تضمن الجيران الدقيقين
- لماذا يحدث؟
- اختلط عدد النتائج المعادة باستدعاء المرشحين التقريبي.
- كيف تصلحه؟
- قيّم عمق المرشحين، وقارن مرجعاً دقيقاً صغيراً عندما يبرر الغرض ذلك.
- كيف تتجنب تكراره؟
- سمِّ التقريب ومقايضات الموارد في معايير القبول.
اختبر فهمك
1. ما cosine similarity بين [1,0,0] و[0,1,0]؟
اعرض الحل المشروح
تساوي صفراً، لأن الضرب الداخلي صفر وطول كل متجه واحد. هذا حكم هندسي فقط. تعتمد الجودة الدلالية الحقيقية على نموذج التضمين، وقد يحول Elasticsearch التشابه إلى درجته الخاصة وفق المقياس المضبوط.
2. هل تستطيع RRF استعادة قطعة غائبة عن قائمتي المرشحين اللفظية والمتجهية؟
اعرض الحل المشروح
لا. تجمع رتب المرشحين المقدَّمين لها. حسّن تغطية الاسترجاع أو عمق المرشحين إذا لم تدخل القطعة أياً من القائمتين، ثم قيّم جودة الدمج مستقلة. تحقق من استحقاق المنتج وتوافق الواجهة قبل استخدام تنفيذ محدد.
أهم ما تعلمته
- يسبق توافق النموذج وتغطية المرشحين عملية دمج الرتب.
- تشابه المتجهات دليل للاسترجاع، لا سلطة لاعتماد الحقائق أو السماح بالوصول.