Elasticsearch / الأساسي: عقود المستندات والاستعلامات / الدرس 3
التحليل والمصطلحات والنص متعدد اللغات
افحص كيف تغير مرشحات المحارف والمجزئات ومرشحات المصطلحات المفردات القابلة للبحث.
في هذه الصفحة
أهداف الدرس
- ميّز التحليل وقت الفهرسة عن التحليل وقت البحث.
- اختر السلوك اللغوي استناداً إلى أدلة المصطلحات وأمثلة الملاءمة.
يعمل البحث على تمثيل للنص
قد يكتب الزائر Bronze Compass، بينما يحتفظ الحقل النصي بمصطلحين مفهرسين مثل bronze وcompass، لا بعبارة دقيقة واحدة. يجمع المحلل بين مرشحات للمحارف ومجزئ للنص ومرشحات للمصطلحات. تغيّر مرشحات المحارف تدفق المحارف الداخل، ويحدد المجزئ حدود المصطلحات، ثم تغير مرشحات المصطلحات هذه المصطلحات أو تحذفها. وتدعم معلومات الموضع سلوك البحث بالعبارات، ولذلك ليس حذف الكلمات مجرد تغيير شكلي. ابدأ بلغة المنتج ومتطلبات الاسترجاع، لا بجمع مرشحات تبدو أسماؤها مفيدة. فقد يحسن كل تحويل نوعاً من الاستعلامات ويضر نوعاً آخر.
افحص عبارة صغيرة معلومة
يطلب جسم Analyze أدناه من المحلل standard معالجة عنوان اصطناعي. المصطلحان المتوقعان منطقياً هما bronze وcompass بالأحرف الصغيرة؛ وتشمل الاستجابة الفعلية أيضاً أنواع المصطلحات ومواضعها وإزاحاتها. هذا توقع تعليمي، وليس مخرجات محرك ملتقطة. افحص مصطلحات المحتوى المفهرس ومصطلحات استعلامات المستخدم المعتادة معاً. فقد ينتج غياب تطابق مفاجئ عن اختلاف التمثيلين، لا عن غياب المستند. واحتفظ بعبارة صغيرة تعيد إظهار المشكلة، لأن الوصف المتحفي الكامل قد يحتوي كلمات كثيرة لا تساعد في عزل تحويل واحد بصورة موثوقة.
{"analyzer":"standard","text":"BRONZE compass"}["bronze","compass"]هذا جسم POST /_analyze. التسلسل المتوقع للمصطلحات هو bronze ثم compass، ولم يُرسل أي طلب إلى خادم.
المعالجة اللغوية قرار منتج
قد يربط الاشتقاق الإنجليزي صيغ الكلمة المختلفة، لكنه قد يخلط أيضاً بين أسماء متحفية مستقلة. ولتحليل العربية خيارات خاصة في التطبيع والاشتقاق؛ وليس نسخ محلل إنجليزي إلى محتوى عربي استراتيجية للترجمة. استخدم حقولاً مستقلة للغات أو بيانات لغة موثقة عندما تكون المجموعة متعددة اللغات، وقيّم الاستعلامات في كل لغة. وقد تحتاج أسماء الأعلام ورموز الاقتناء والعناوين المقتبسة إلى تمثيل دقيق إلى جانب النص المحلل. لا يترجم ASCII folding بين اللغات، وقد يغير حذف التشكيل أو علامات الترقيم أسماء مهمة. راجع تنويعات اصطناعية واقعية وحالات يجب ألا تتطابق قبل اعتماد قاعدة تطبيع.
اجعل آثار المحلل المخصص صريحة
يعرّف جزء إعدادات الفهرس مجزئ whitespace ثم مرشح lowercase. وتبقى علامات الترقيم الملحقة بالمصطلح لأن الفراغ وحده يحدد الحد؛ ولذلك تظل Bronze-compass مصطلحاً واحداً بعد تحويلها إلى الأحرف الصغيرة. يختلف ذلك عن افتراض أن كل محلل يفصل الكلمات عند علامات الترقيم. صُمم المقطع صغيراً حتى يمكن فهم آثاره مباشرة. ويجب أن تكون للمحلل المستخدم فعلياً مفردات اختبار محفوظة بإصدار، تشمل الوصلات ويونيكود والفواصل العليا والمدخل الخالي. وغالباً تتطلب تغييرات تحليل الفهرسة إعادة بناء التمثيل المفهرس؛ فاحتفظ بالمصدر وخطة الترحيل، ولا تتوقع أن يعيد تعديل التعيين كتابة المصطلحات القديمة.
{"settings":{"analysis":{"analyzer":{"museum_words":{"type":"custom","tokenizer":"whitespace","filter":["lowercase"]}}}}}هذا جزء إعدادات لإنشاء فهرس. وفق هذا المحلل تصبح Bronze-compass هي bronze-compass كمصطلح واحد.
يجب أن يلائم تحليل البحث المفردات المفهرسة
يحلل استعلام match نصه باستخدام محلل البحث المضبوط، بينما يبحث term عن مصطلح مفهرس دقيق ولا ينفذ تحليل النص الكامل المعتاد. لذلك قد يفشل term بالقيمة Bronze على عنوان محلل إذا كان المصطلح المخزن هو bronze. وتعتمد استعلامات العبارة على المواضع والترتيب، لا على المساواة الحرفية مع سلسلة المصدر. وتضيف المترادفات مسألة أخرى: تختلف معالجتها عند الفهرسة عن معالجتها عند البحث من حيث التحديث وسلوك رسم المصطلحات. استخدم آليات المترادفات المدعومة، مع تحقق صريح من توافق المحلل وأمثلة مقيمة. ولا تعد بتحسن الملاءمة بمجرد إضافة قاموس، قبل قياس التطابقات الكاذبة مع النتائج المفيدة التي استُعيدت.
الأخطاء الشائعة وإصلاحها
يفوت استعلام term عنواناً يبدو مطابقاً بوضوح
- لماذا يحدث؟
- تختلف قيمة المصطلح الدقيقة المرسلة عن مفردات الحقل بعد التحليل.
- كيف تصلحه؟
- افحص المصطلحات، واختر match إذا كان السؤال المقصود بحثاً في النص الكامل.
- كيف تتجنب تكراره؟
- اختبر المحلل والاستعلام معاً باستخدام عناوين معلومة التطابق.
يدمج التطبيع أسماء مستقلة في مجموعة المقتنيات
- لماذا يحدث؟
- أزال تحويل شديد فرقاً له معنى لدى المستخدمين.
- كيف تصلحه؟
- احتفظ بتمثيل دقيق، وضيّق التحويل إلى ما يحتاجه المنتج.
- كيف تتجنب تكراره؟
- ضمّن أسماء الأعلام والأمثلة السلبية ضمن تقييم الملاءمة.
تظهر آثار تغيير المحلل في البيانات الجديدة فقط
- لماذا يحدث؟
- لم تُعَد المصطلحات القديمة إلى الفهرسة عند تعديل الإعدادات أو التعيين.
- كيف تصلحه؟
- خطط لفهرس مصحح ومسار إعادة فهرسة تطابق نتائجه.
- كيف تتجنب تكراره؟
- احفظ قواعد التحليل بإصدارات مع قوالب الفهرسة واختبارات الاستعلام.
اختبر فهمك
1. كم مصطلحاً تنتج Bronze-compass عند استخدام whitespace ثم lowercase؟
اعرض الحل المشروح
تنتج مصطلحاً واحداً هو bronze-compass. لا يفصل مجزئ whitespace عند الوصلة داخل الكلمة. إذا كان المطلوب كلمتين مستقلتين، فاختر مجزئاً مناسباً وقيّمه بدلاً من افتراض أن تحويل الحالة يغير الحدود. وفي مختبر مستقل مصرح به، تحقق من المواضع والإزاحات باستخدام Analyze API.
2. هل يترجم مرشح lowercase اسم قطعة عربي إلى مصطلحات بحث إنجليزية؟
اعرض الحل المشروح
لا. تطبيع حالة الأحرف والترجمة عمليتان مختلفتان. صمم الحقول متعددة اللغات والتحليل الخاص بكل لغة، ثم أضف استراتيجية ترجمة أو استرجاع بين اللغات فقط إذا تطلبها المنتج. قيّم مجموعتي الاستعلامات العربية والإنجليزية على نحو مستقل، واحتفظ بالأسماء الدقيقة عندما تكون هوية القطعة مهمة للاسترجاع.
أهم ما تعلمته
- تفسر أدلة المصطلحات كثيراً من عيوب البحث الظاهرة.
- يجب أن يحافظ تطبيع اللغة على الفروق التي يحتاجها المستخدمون.