تعتمد محركات البحث في عملها على ثلاث خطوات رئيسية يمكن تلخيصها فيما يلي:
- الزحف Crawling: وهي عملية استكشاف المحتوى الجديد الذي يتمّ إضافته على شبكة الإنترنت.
- الفهرسة Indexing: ويتمّ خلالها تخزين هذا المحتوى وفرزه وتصنيفه في قاعدة بيانات ضخمة تعرف باسم “فهرس محرك البحث”.
- الترتيب Ranking: وهي الخطوة التي يتمّ فيها جلب المحتوى من فهرس محرك البحث وعرضه للمستخدم على صفحة نتائج البحث مرتبًا حسب مدى علاقته بالاستعلام المطروح.
يمكنك التعرّف على كلّ ما يتعلّق بعملية الـ Crawling من خلال قراءة مقالنا حول الـ Crawling وتحسين محركات البحث. أمّا في مقال اليوم فسوف نتطرّق للحديث عن عملية الفهرسة في محركات البحث وما تنطوي عليه من جوانب يمكنك استغلالها في تحسين موقعك الإلكتروني الخاصّ.
الفهرسة: كيف تفسر محركات البحث صفحات الويب وتخزّنها؟
بعد أن تمّ استكشاف موقعك الإلكتروني والزحف إليه من قبل زاحف الويب، تأتي الآن مرحلة الفهرسة أو الـ Indexing. وهنا لابدّ من التنويه أنّ استكشاف موقع معيّن من قبل الـ Crawlers لا يعني بالضرورة أنّه سيتمّ فهرسته.
والفهرس هو المكان الذي يتمّ فيه تخزين الصفحات المكتشفة خلال عملية الزحف، حيث يقوم محرّك البحث بتحليل محتوى الصفحة وتخزين جميع معلوماتها في فهرسه، وترتيبها بالطريقة التي ستظهر بها في صفحة نتائج البحث.
هل يمكنني رؤية موقعي الإلكتروني كما يراه زاحف الويب؟
نعم بالتأكيد يمكنك ذلك، ستعكس النسخة المخبأة Cashed Version من صفحتك صورة لآخر مرّة زحف إليها Googlebot وقام بفهرستها.
من الجدير بالذكر أن محرك البحث Google يزحف إلى صفحات الويب ويخزّن نسخة مخبأة منها بتردّدات مختلفة. بمعنى آخر، المواقع الإلكترونية الشهيرة التي تنشر محتوى متجدّدًا باستمرار سيتمّ الزحف إليها وفهرستها بوتيرة أكبر من المواقع الأقلّ أهمية أو تلك غير النشطة.
يمكنك رؤية النسخة المخبأة من موقعك الإلكتروني من خلال الضغط على السهم الصغير إلى جانب رابط الموقع في صفحة نتائج البحث ثمّ اختيار “نسخة مخبأة” أو “Cashed”. كما يمكنك أيضًا اختيار أمر “text-only version” لرؤية المحتوى النصّي فقط وتحديد ما إذا كان زاحف الويب قد تمكّن من استكشاف كلّ المحتوى المهمّ الذي تريد له أن يخزّن في فهرس محرّك البحث.
اقرأ أيضًا: كل ما تحتاج معرفته حول تحسين محركات البحث SEO
متى يتمّ إزالة صفحات الويب من فهارس محرّكات البحث؟
قد يتمّ في الأحيان إزالة صفحات الويب من فهارس محرّكات البحث، وذلك لعدّة أسباب نذكر منها:
1- الأخطاء Errors
وهي الحالة التي يشتمل فيها رابط صفحة ويب معيّنة على خطأ “Not Found” المشار له بالرمز (4XX) أو أخطاء الخوادم Server Errors التي يشار إليها بالرمز: (5XX).
قد تكون هذه الأخطاء عرضية (كأن يتمّ نقل الصفحة إلى عنوان آخر وعدم استخدام أمر إعادة التوجيه 301 Redirect) أو قد تكون مقصودة (كأن يتمّ حذف الصفحة واستخدام أمر الـ 404 عمدًا لضمان حذفها من الفهرس).
2- إضافة وسم الـ Noindex
يتمّ إضافة وسم Noindex Tag من قبل أصحاب المواقع الإلكترونية في بعض الأحيان، وذلك لإخبار محرّك البحث بأنه عليه تجاهل هذه الصفحة وعدم فهرستها.
3- العقوبات المفروضة على الصفحة أو الموقع
في حال تمّ خرق شروط ومعايير إدارة محرّكات البحث المحدّدة، يتمّ فرض عقوبات على الموقع الإلكتروني أو صفحة الويب المخالفة، ونتيجة لذلك يتمّ إزالتها من الفهرس.
4- حظر وصول زاحف الويب إلى صفحة معيّنة
وذلك نتيجة لاستخدام كلمة سرّ تُطلب من المستخدمين قبل أن يُسمح لهم بزيارة هذا الرابط، ومثلها أوامر تعبئة طلبات التقديم أو الإجابة عن استطلاعات الرأي.
في مثل هذه الحالة، لا يتمكّن زاحف الويب من الوصول إلى رابط الصفحة، ويتمّ إزالتها من فهرس محرك البحث.
إن كنت متأكدًا من وجود صفحة ويب على موقعك في فهرس جوجل، ولم تعد تظهر بعد الآن، يمكنك الاستعانة بأداة استكشاف الروابط URL Inspection To
ol في Google Search Console لمعرفة حالة هذه الصفحة، وتستطيع حينها الضغط على خيار “Request Indexing” ليتمّ فهرستها في حال لم تكن مفهرسة قبلاً.
كيف أحدد لمحركات البحث طريقة فهرسة موقعي الإلكتروني؟
يمكنك ذلك باستخدام التوجيهات الروبوتية أو الـ Robots Meta Directives باللغة الإنجليزية والتي تعرف أيضًا بالـ Meta Tags.
الـ Meta Tags هي في الواقع أوامر وتعليمات يمكنك إعطاؤها لمحرّكات البحث فيما يتعلّق باستكشاف موقعك وفهرسته.
يمكنك مثلاً أن تطلب من زاحف الويب ألاّ يفهرس صفحة معيّنة، أو ألاّ ينقل سلطة وقوّة صفحة معيّنة إلى الروابط الموجودة داخلها من خلال الـ Meta Tags التي يتمّ إضافتها من قبل مبرمجي الويب المختصين.
فيما يلي عدد من الـ Meta Tags التي يمكنك استخدامها في توجيه محرّكات البحث:
1- الـ Index و الـ Noindex
تخبر تعليمات الـ Index/Noindex محرّكات البحث حول ما إذا كان عليها فهرسة صفحة معيّنة وتخزينها لعرضها في صفحة نتائج البحث أم لا.
تقوم الـ Crawlers بفهرسة كلّ الروابط والصفحات التي تستكشفها، لذا استخدام أمر Index ليس مهمًّا جدًّا، لكن في حال رغبت في استبعاد روابط معيّنة من الظهور في صفحات نتائج البحث يمكنك هنا استخادم وسم الـ No Index.
2- الـ Follow والـ Nofollow
تستخدم تعليمات الـ follow/nofollow لإخبار محرّكات البحث ما إذا كان عليها تتبّع الروابط الأخرى الموجودة في الصفحة أم لا.
أمر الـ follow سيجعل زاحف الويب يتتبّع جميع الروابط الموجودة في موقعك وينقل إليها قوّة وموثوقية موقعك الإلكتروني.
أما في حال استخدمت أمر الـ nofollow فأنت في هذه الحالة تطلب من زاحف الويب تجاهل جميع الروابط الموجودة داخل صفحة الويب وعدم نقل موثوقية موقعك إليها، وبالتالي عدم استكشافها أو فهرستها.
المثال التالي يظهر استخدام تعليمات الـ nofollow والـ noindex في أحد المواقع الإلكترونية:
noindex, nofollow” />…
هذا الرابط يطلب من زاحف الويب أن يتجاهل محتوى صفحة الويب هذه فلا يقوم بفهرسته، وكذلك ألاّ يتتبّع أيًّا من الروابط الموجودة داخل الصفحة.
3- الـ Noarchive
يستخدم أمر الـ noarchive في منع محرّكات البحث من تخزين نسخة مخبأة (cached copy) لصفحة الويب. وهكذا ستحتفظ المحركات بنسخ مرئية من جميع الصفحات التي تمت فهرستها، ويمكن للباحثين الوصول إليها من خلال رابط “cached” في صفحة نتائج البحث.
يستخدم هذا الأمر على وجه الخصوص في مواقع التجارة الإلكترونية حيث تتغيّر أسعار المنتجات بشكل مستمر ودائم، فيضمن استخدام أمر noarchive ألاّ يرى المستخدمون نسخًا غير محدّثة من المحتوى بأسعار قديمة تمّ تغييرها.
من خلال فهم آلية فهرسة صفحات الويب، وعن طريق استخدام التعليمات الروبوتية Robots Meta Tags المناسبة تستطيع تحسين موقعك الإلكتروني والتعديل على بنيته كي تتمّ فهرسته بالطريقة الصحيحة التي تريدها له، وبالتالي زيادة جودة موقعك ورفع فرص أن يتصدّر المراتب الأولى في صفحة نتائج البحث.
يمكنك معرفة المزيد عن كيفية تحسين محرّكات البحث من حيث المحتوى عن طريق قراءة مقالنا حول قواعد كتابة الويب الـ 19. كما تستطيع معرفة المزيد حول الـ SEO من خلال مقالنا عن أشهر المصطلحات المتعلّقة بتحسين محرّكات البحث.
المصدر: moz.com
اقرأ أيضًا: قواعد الـ SEO في كتابة المحتوى: أهم 5 أمور يجب التركيز عليها
اقرأ أيضًا: 12 سبب لتبدأ بتطبيق تقنيات الـ SEO على موقع الويب الخاص بك
