A خريطة الموقع هو ملف تقدم فيه معلومات حول الصفحات ومقاطع الفيديو والصور والملفات الأخرى على موقعك الإلكتروني والعلاقات بينها. محركات البحث مثل جوجل استخدام هذا الملف للزحف إلى موقعك الإلكتروني بكفاءة أكبر. تساعد خرائط الموقع محركات البحث على فهم الصفحات أو الملفات الأكثر أهمية على موقعك وتوفر تفاصيل إضافية، مثل وقت تحديث الصفحة أو إذا كانت هناك إصدارات لغوية بديلة.

في خريطة الموقع، يمكنك تقديم تفاصيل لأنواع مختلفة من المحتوى، بما في ذلك مقاطع الفيديو والصور والمقالات الإخبارية. على سبيل المثال:

• خرائط مواقع الفيديو يمكن أن تتضمن معلومات مثل طول الفيديو والتقييمات والجمهور المستهدف.
• خرائط مواقع الصور تحديد موقع الصور داخل صفحة الويب الخاصة بك.
• خرائط مواقع الأخبار يمكن أن تشير إلى عناوين المقالات وتاريخ نشرها.

هل تحتاج إلى خريطة موقع؟

لا يزال بإمكان خريطة الموقع أن تلعب دورًا حاسمًا حتى لو كان موقعك منظمًا بشكل جيد مع وجود روابط داخلية مناسبة، حيث يمكن الوصول إلى جميع الصفحات الضرورية من خلال روابط التنقل (مثل القوائم). إنها مفيدة بشكل خاص للمواقع الإلكترونية الكبيرة والمعقدة أو تلك التي تحتوي على أنواع معينة من المحتوى مثل الوسائط الغنية (مقاطع الفيديو والصور) أو الأخبار.

يجب عليك التفكير في استخدام خريطة الموقع إذا:

• موقع الويب الخاص بك كبير: قد تحتوي مواقع الويب الكبيرة على صفحات لا يمكن الوصول إليها بسهولة من خلال التصفح القياسي. وقد يكون من الصعب التأكد من أن جميع الصفحات الضرورية مرتبطة ببعضها البعض، مما يزيد من احتمال أن تفوت محركات البحث بعض الصفحات.
• موقعك الإلكتروني جديد ويفتقر إلى الروابط الخارجية: تكتشف محركات البحث مثل جوجل المحتوى الجديد في المقام الأول من خلال تتبع الروابط من مواقع الويب الأخرى. إذا كان موقعك جديدًا ولا يحتوي على العديد من الروابط الخلفية، فقد لا يعثر محرك البحث Googlebot على كل المحتوى الخاص بك ما لم ترسل خريطة موقع.
• يحتوي موقعك الإلكتروني على وسائط غنية أو محتوى إخباري: إذا كان موقعك يستضيف الكثير من مقاطع الفيديو أو الصور أو المقالات الإخبارية، يمكن أن تساعد خريطة الموقع جوجل في العثور على ملفات الوسائط هذه وفهرستها. على سبيل المثال، يمكن تضمين البيانات الوصفية للفيديو، مثل المدة والجمهور، في خريطة موقع الفيديو لمساعدة جوجل على فهم هذا المحتوى.

من ناحية أخرى، قد لا تحتاج إلى خريطة موقع إذا:

• موقع الويب الخاص بك صغير: إذا كان موقعك على الويب يحتوي على أقل من 500 صفحة وكانت جميع هذه الصفحات مرتبطة داخليًا بشكل جيد، فمن المحتمل أن يعثر جوجل على جميع الصفحات الأساسية بدون خريطة موقع.
• يحتوي موقعك الإلكتروني على روابط داخلية شاملة: إذا كان يمكن الوصول إلى جميع صفحاتك المهمة بسهولة من خلال الروابط الداخلية، سيتمكن Googlebot من اكتشافها دون الحاجة إلى خريطة موقع.
• لديك القليل من وسائل الإعلام أو المقالات الإخبارية: قد لا تكون خريطة الموقع ضرورية إذا لم يكن لديك العديد من مقاطع الفيديو أو الصور أو المقالات الإخبارية التي تحتاج إلى فهرسة.

كيف يزحف محرك البحث Googlebot إلى موقعك

Googlebot هو اسم زاحف الويب من Google، المسؤول عن اكتشاف وفهرسة المحتوى على الويب. هناك نسختان:

• غوغل بوت موبايل: يحاكي مستخدم الهاتف المحمول للزحف إلى نسخة الهاتف المحمول من المواقع الإلكترونية.
• جوجل بوت سطح المكتب: يحاكي مستخدم سطح المكتب للزحف إلى إصدارات سطح المكتب من المواقع الإلكترونية.

يتبع كلا النوعين من Googlebot نفس القواعد في ملف robots.txt. ومع ذلك، نظرًا لأن جوجل يستخدم بشكل أساسي فهرسة الجوال أولاً، تتم معظم عمليات الزحف بواسطة نسخة الجوال. وهذا يعني أن أداء موقعك الإلكتروني على الجوّال وهيكله يلعبان دورًا حاسمًا في كيفية فهرسة جوجل للمحتوى الخاص بك.

يزحف Googlebot إلى المواقع الإلكترونية بمعدل مرة كل بضع ثوانٍ. يمكن أن يختلف هذا التكرار حسب حجم موقعك وكمية المحتوى الجديد. تستخدم Google الحوسبة الموزعة، حيث تعمل برامج زحف متعددة في وقت واحد من عناوين IP مختلفة. وهذا يساعد على تحسين الأداء ويضمن عدم تحميل خوادمك بطلبات زائدة على خوادمك.

لتحسين عملية الزحف، يمكن أن يستخدم Googlebot HTTP/2 إذا كان موقعك الإلكترونيّ يدعمه، مما يقلل من الحمل على كل من الخادم الخاص بك والزاحف. ومع ذلك، لا توجد ميزة تصنيف لاستخدام HTTP/2 على HTTP/1.1. يمكنك منع Googlebot من الزحف عبر HTTP/2 عن طريق إرجاع 421 رمز حالة HTTP 421 عند إجراء محاولة الزحف.

إدارة تردد زحف محرك البحث Googlebot وحدوده

يدير برنامج Googlebot تلقائيًا معدل الزحف إلى معظم المواقع الإلكترونية لتجنب التحميل الزائد على خادمك. ومع ذلك، إذا كان خادمك لا يمكنه مواكبة طلبات Googlebot، يمكنك استخدام وحدة تحكم محرك بحث Google لتقليل سرعة الزحف.

تتم برمجة Googlebot على الزحف إلى أول 15 ميغابايت من ملف HTML أو ملف نصي مدعوم. بعد الوصول إلى هذا الحد الأقصى للحجم، يتوقف Googlebot عن الزحف إلى الملف، ويتم النظر فقط في أول 15 ميغابايت للفهرسة. من المهم ملاحظة أن هذا الحد ينطبق على البيانات غير المضغوطة. لذلك، إذا كانت صفحاتك ضخمة، فقد ترغب في تحسين ملفاتك لضمان أن يكون كل المحتوى المهم ضمن أول 15 ميغابايت.

منع Googlebot من الزحف إلى صفحات معينة

إذا كنت تريد منع Googlebot من الزحف إلى صفحات معينة على موقعك، فهناك بعض الخيارات:

• استخدام robots.txt: من خلال تحديد قواعد في ملف robots.txt، يمكنك منع Googlebot من الزحف إلى صفحات معينة.
• استخدم توجيه عدم الفهرسة. يضمن هذا التوجيه عدم ظهور صفحات معينة في نتائج بحث جوجل، حتى لو تم الزحف إليها.
• استخدام الحماية بكلمة مرور: تعد حماية هذه الصفحات بكلمة مرور حلاً فعالاً لمنع كل من برامج الزحف والمستخدمين من الوصول إلى محتوى معين.

التحقق من هوية Googlebot

من الضروري التحقُّق من صحة الطلبات التي تدّعي أنها من Googlebot لأن برامج الزحف الأخرى يمكنها انتحال هوية Googlebot. أفضل طريقة لتأكيد طلب من جوجل هي التحقق من عنوان IP الخاص بالطلب والتحقق من ذلك مقابل قائمة جوجل الرسمية لـ عناوين IP الخاصة بـ Googlebot.

الخلاصة: هل خريطة الموقع ضرورية لموقعك الإلكتروني؟

في الختام، بينما يمكن ل Google في كثير من الأحيان العثور على موقعك الإلكتروني والزحف إليه بدون خريطة موقع، إلا أن هناك حالات يكون فيها استخدام خريطة الموقع مفيدًا للغاية. بالنسبة لمواقع الويب الكبيرة أو الجديدة أو تلك التي تحتوي على محتوى غني بالوسائط، تُعد خريطة الموقع أداة قيّمة تساعد محركات البحث مثل جوجل على اكتشاف المحتوى الخاص بك وتحديد أولوياته بشكل أكثر كفاءة. من خلال توفير خريطة موقع مفصّلة، فإنك تضمن فهرسة أهم صفحاتك وظهورها في نتائج البحث، مما قد يحسّن أداء موقعك الإلكتروني في تصنيفات البحث.