كيفية معرفة ما إذا تمت فهرسة الصفحة. كيفية التحقق من عدد الصفحات المفهرسة والمخزنة مؤقتًا على Google

في حالة وجود مشكلات في الفهرسة - أولاً وقبل كل شيء ، تحتاج إلى التحقق من ملف robots.txt و sitemap.xml.

يحتوي أي محرك بحث على قاعدة بيانات ضخمة تتضمن جميع المواقع والصفحات الجديدة. هذه القاعدة تسمى "الفهرس". حتى يزحف الروبوت إلى مستند html ويحلله ويفهرسه ، لن يظهر في نتائج البحث. سيكون من الممكن الوصول إليها فقط عن طريق الارتباط.

ماذا تعني "الفهرسة"؟

أفضل من متخصص فهرسة Yandex ، لن يخبرك أحد عن هذا:

الفهرسة هي عملية يتم خلالها الزحف إلى صفحات الموقع بواسطة روبوت البحث وتضمين (أو لا يشمل) هذه الصفحات في فهرس محرك البحث. يقوم روبوت البحث بمسح كل المحتوى وإجراء تحليل دلالي لمحتوى النص وجودة الروابط وملفات الصوت والفيديو. بناءً على كل هذا ، يستخلص محرك البحث النتائج ويضيف الموقع إلى التصنيف.

عندما يكون الموقع خارج الفهرس ، فلن يعرفه أحد ، باستثناء أولئك الذين يمكنك توزيع الروابط المباشرة عليهم. وهذا يعني أن المورد متاح للعرض ، ولكن بتنسيق محرك البحث ليس.

ما هو الفهرس ل؟

يحتاج موقع الويب إلى الظهور من أجل الترويج والنمو والتطور. يعد مورد الويب الذي لا يظهر في أي PS عديم الفائدة ولا يفيد المستخدمين أو مالكه.

بشكل عام ، إليك مقطع فيديو كامل من مدرسة Yandex لمشرفي المواقع ، إذا شاهدته بالكامل ، فستصبح تقريبًا متخصصًا في الفهرسة:

ما الذي يحدد سرعة الفهرسة

النقاط الرئيسية التي تحدد مدى سرعة وصول موقعك إلى انتباه روبوتات البحث:

• عمر المجال (كبار السن اسم النطاق، كلما زاد عدد برامج الروبوت التي تناسبه).
• الاستضافة (لا تحب PSs الاستضافة المجانية وغالبًا ما تتجاهلها).
• CMS ، نقاء الكود وصلاحيته.
• معدل تحديث الصفحة.

ما هي ميزانية الزحف

يحتوي كل موقع على ميزانية زحف - أي عدد الصفحات التي لا يمكن الوصول إليها في الفهرس أكثر من. إذا كان موقع KB هو 1000 صفحة ، فحتى إذا كان لديك عشرة آلاف ، فلن يحتوي الفهرس إلا على ألف. يعتمد حجم هذه الميزانية على مدى موثوقية وفائدة موقعك. وإذا كانت لديك مشكلة من هذا النوع بحيث لا تدخل الصفحات في الفهرس ، فعندئذٍ كخيار ، تحتاج ، مهما بدا مبتذلاً ، إلى تحسين الموقع!

فهرسة الموقع

عند إنشاء موقع جديد ، تحتاج إلى ملء ملف robots.txt بشكل صحيح ، والذي يخبر محركات البحث بما إذا كان يمكن فهرسة المورد ، والصفحات التي يجب الزحف إليها ، والصفحات التي لا يجب لمسها.

يتم إنشاء الملف بتنسيق txt ووضعه في المجلد الجذر للموقع. الروبوتات الصحيحة هي موضوع منفصل. يحدد هذا الملف بشكل أساسي ماذا وكيف ستحلل الروبوتات على موقعك.

عادة ، يستغرق الأمر محركات البحث من أسبوعين إلى شهرين لتقييم موقع جديد وإضافته إلى قاعدة البيانات.

تقوم العناكب بمسح كل مستند html مسموح به بعناية ، وتحديد الموضوع المناسب للمورد الشاب الجديد. لم يتم تنفيذ هذا الإجراء في يوم واحد. مع كل عملية اجتياز جديدة ، ستضيف SS المزيد والمزيد من مستندات html إلى قاعدة البيانات الخاصة بهم. علاوة على ذلك ، من وقت لآخر ، سيخضع المحتوى لإعادة التقييم ، ونتيجة لذلك قد تتغير أماكن الصفحات في نتائج البحث.

تساعد علامة Meta robots وعلامة Canonical جزئيًا أيضًا في إدارة الفهرسة. عند فحص البنية وحل مشكلات الفهرسة ، يجب أن تبحث دائمًا عن وجودها.

يقوم Google بفهرسة صفحات المستوى الأعلى أولاً. عندما يجب فهرسة موقع جديد بهيكل معين ، فإن أول موقع يتم فهرسته هو الصفحة الرئيسية... بعد ذلك ، وعدم معرفة بنية الموقع ، سيقوم محرك البحث بفهرسة ما هو أقرب إلى الشرطة المائلة. لاحقًا ، تتم فهرسة الدلائل ذات الشرطتين المائلتين. هذا يعني أنه حتى لو كانت الروابط عالية المحتوى ، فلن تتم فهرستها بالضرورة أولاً. من المهم أن يكون لديك بنية مثالية حتى لا تكون الأقسام المهمة وراء الكثير من الخطوط المائلة ، وإلا فإن Google ستعتقد أن هذه صفحة منخفضة المستوى.

فهرسة الصفحة

عندما يكون Yandex و Google قد تعرفا بالفعل على الموقع و "قبلته" في قاعدة البحث الخاصة بهما ، ستعود الروبوتات إلى المورد لمسح المواد الجديدة المضافة. كلما تم تحديث المحتوى في كثير من الأحيان وبشكل أكثر انتظامًا ، زادت مراقبة العناكب له عن كثب.

يقولون أن مكوّن pinger الإضافي PDS لبحث Yandex يساعد في الفهرسة - https://site.yandex.ru/cms-plugins/. للقيام بذلك ، يجب عليك أولاً تثبيت بحث Yandex على موقعك. لكنني لم أشعر كثيرًا بالاستفادة منه.

عندما يكون المورد مفهرسًا جيدًا ، يكون من الأسهل بكثير عرض صفحات جديدة فردية في البحث. ولكن مع ذلك ، لا يتم التحليل دائمًا بشكل موحد وبنفس السرعة لجميع مستندات html المحدثة في وقت واحد. دائمًا ما تفوز الفئات الأكثر زيارة والترويج للمورد.

ما هي مصادر المعلومات حول محركات البحث URL

ذات مرة ، جذبت روبوتًا سريعًا إلى منافس لم يجدد النطاق حتى يتم تخفيضه في نتائج البحث - ولم يعط هذا أي نتيجة.

كيفية التحقق من الفهرسة

فحص الرؤية مستندات html تم إجراؤه بشكل مختلف لـ Google و Yandex. لكن بشكل عام ، هذا ليس بالأمر الصعب. حتى المبتدئ يمكنه فعل ذلك.

التحقق في Yandex

يوفر النظام ثلاثة عوامل تشغيل رئيسية للتحقق من عدد مستندات html الموجودة في الفهرس.

عامل التشغيل "الموقع:" - يعرض تمامًا جميع صفحات المورد التي دخلت بالفعل في قاعدة البيانات.

دخلت في شريط البحث كالتالي: site: site

عامل التشغيل "مضيف:" - يسمح لك بمشاهدة الصفحات المفهرسة من المجالات والمجالات الفرعية داخل الاستضافة.

تم الدخول في شريط البحث كالتالي: host: site

عامل التشغيل "url:" - يعرض الصفحة المطلوبة المحددة.

تم الدخول في شريط البحث على النحو التالي: url: site / obo-mne

يؤدي التحقق من الفهرسة باستخدام هذه الأوامر دائمًا إلى الحصول على نتائج دقيقة وهو الأكثر أهمية بطريقة بسيطة تحليل رؤية الموارد.

تحقق في جوجل

يتيح لك PS Google التحقق من ظهور موقع باستخدام أمر واحد فقط مثل site: site.

لكن لدى Google ميزة واحدة: فهي تتعامل مع الأمر بشكل مختلف مع www وبدونها. لا تقدم Yandex مثل هذا التمييز وتعطي نفس النتائج تمامًا ، إما باستخدام www الموصوفة أو بدونها.

التحقق من قبل المشغلين هو الطريقة "القديمة" ، ولكن لهذا الغرض أستخدم البرنامج المساعد لمتصفح RDS Bar.

التحقق مع مسؤول الموقع

في خدمات جوجل Webmaster و Yandex Webmaster يمكنك أيضًا معرفة عدد الصفحات الموجودة في قاعدة بيانات PS. للقيام بذلك ، يجب أن تكون مسجلاً في هذه الأنظمة وإضافة موقعك إليها. يمكنك الوصول إليهم باتباع الروابط:

خلاصة القول - ما عليك سوى كتابة عناوين الصفحة ، وتعطيك الخدمة النتائج:

الشيكات ليست سريعة جدًا - هناك سيتعين عليك الانتظار 3 دقائق ، ولكن هناك بعض الشكاوى حول الأداة المجانية. ما عليك سوى وضعه في نافذة الخلفية والبدء في عملك ، في غضون بضع دقائق ستكون النتائج جاهزة.

هل يمكن تسريع الفهرسة؟

يمكنك التأثير في سرعة تحميل مستندات html عن طريق روبوتات البحث. للقيام بذلك ، يجب عليك الالتزام بالتوصيات التالية:

• قم بزيادة عدد الإشارات الاجتماعية من خلال تشجيع المستخدمين على مشاركة الروابط في ملفاتهم الشخصية. أو يمكنك أخذ تغريدات من حسابات حقيقية في بروسبيرو (klout 50+). إذا قمت بتجميع قائمة Twitter البيضاء الخاصة بك ، فاعتبر أنك تلقيت سلاحًا قويًا لتسريع عملية الفهرسة ؛
• أضف مواد جديدة في كثير من الأحيان ؛
• يمكنك البدء في الدوران مباشرة للحصول على أرخص الطلبات في موضوعك ؛
• أدخل العنوان صفحة جديدة في addurilka مباشرة بعد نشره.

متوسط العوامل السلوكية على الموقع أيضًا تأثير إيجابي على سرعة تحديث الصفحة في البحث. لذلك ، لا تنسَ جودة وفائدة المحتوى للناس. إن الموقع الذي يحبه المستخدمون حقًا سوف يروق بالتأكيد لروبوتات البحث.

بشكل عام ، كل شيء سهل للغاية في Google - يمكنك إضافة صفحة إلى الفهرس في غضون بضع دقائق عن طريق مسحها ضوئيًا في لوحة مشرف الموقع (الزحف إلى العنصر / مشاهدة كيفية Googlebot / الإضافة إلى الفهرس). بنفس الطريقة ، يمكنك إعادة فهرسة الصفحات المطلوبة بسرعة.

لقد سمعت المزيد من القصص عن الرجال الذين أرسلوا عناوين url عبر بريد Yandex حتى يتمكنوا من الوصول إلى الفهرس بشكل أسرع. في رأيي ، هذا هراء.

إذا كانت هناك مشكلة ، ولم تساعد كل النصائح السابقة ، يبقى الانتقال إلى المدفعية الثقيلة.

• لقد قمنا بإعداد الرؤوس التي تم تعديلها مؤخرًا (بحيث يتحقق الروبوت من وجود تحديثات فقط للمستندات التي تغيرت بالفعل منذ آخر مكالمة) ؛
• إزالة القمامة من فهرس محرك البحث (يمكن العثور على هذه القمامة باستخدام Comparser) ؛
• إخفاء جميع المستندات غير الضرورية / المهملة من الروبوت ؛
• نصنع ملفات Sitemap.xml إضافية. عادةً ما تقرأ الروبوتات ما يصل إلى 50000 صفحة من هذا الملف ، إذا كان لديك المزيد من الصفحات ، فأنت بحاجة إلى إنشاء المزيد من خرائط المواقع ؛
• إعداد الخادم.

تعد فهرسة الموقع في محركات البحث مهمة لكل مشرف موقع. في الواقع ، من أجل تعزيز جودة المشروع ، يجب عليك مراقبة فهرسته. سأصف عملية فحص الفهرسة في Yandex.

الفهرسة في Yandex

يقوم الروبوت Yandex بمسح المواقع يومًا بعد يوم بحثًا عن شيء "لذيذ". يجمع في أعلى النتائج تلك المواقع والصفحات التي ، في رأيه ، الأكثر استحقاقًا لها. حسنًا ، أو أراد Yandex ذلك بهذه الطريقة ، من يدري 🙂

نحن ، بصفتنا مشرفي مواقع حقيقيين ، سوف نلتزم بالنظرية القائلة بأنه كلما تم إنشاء الموقع بشكل أفضل ، زاد موقعه وزاد عدد الزيارات.

هناك عدة طرق للتحقق من فهرسة موقع في Yandex:

• باستخدام Yandex Webmaster ؛
• باستخدام مشغلي محركات البحث ؛
• باستخدام الملحقات والإضافات ؛
• باستخدام الخدمات عبر الإنترنت.

فهرسة صفحات الموقع في Yandex Webmaster

لفهم ما حفره محرك البحث على موقعنا ، تحتاج إلى الانتقال إلى مشرف موقع Yandex المفضل لدينا في قسم "الفهرسة".

إحصائيات الزحف في Yandex Webmaster

أولاً ، دعنا ننتقل إلى عنصر "تجاوز الإحصائيات". يسمح لك القسم بمعرفة صفحات موقعك التي يزحف إليها الروبوت. يمكنك تحديد العناوين التي تعذر على الروبوت تحميلها بسبب عدم توفر الخادم الذي يوجد عليه الموقع ، أو بسبب أخطاء في محتوى الصفحات نفسها.

يحتوي القسم على معلومات حول الصفحات:

• جديد - الصفحات التي ظهرت مؤخرًا على الموقع أو زارها الروبوت للتو ؛
• تم تغييرها - الصفحات التي شاهدها محرك بحث Yandex من قبل ، لكنها تغيرت ؛
• سجل الزحف - عدد الصفحات التي تجاوزها Yandex مع مراعاة رمز استجابة الخادم (200 ، 301 ، 404 ، وغيرها).

يعرض الرسم البياني صفحات جديدة (خضراء) ومتغيرة (زرقاء).

وهذا رسم بياني لتاريخ التجاوز.

يعرض هذا العنصر الصفحات التي وجدها Yandex.

لا ينطبق - عنوان URL غير معروف للروبوت ، أي لم يلتقها الروبوت من قبل.

ما هي الاستنتاجات التي يمكن استخلاصها من الشاشة:

1. لم يجد Yandex العنوان / xenforo / xenforostyles / ، وهو ، في الواقع ، منطقي ، منذ هذه الصفحة لم يعد موجودا.
2. وجدت Yandex العنوان / bystrye-ssylki-v-yandex-webmaster / ، وهو أيضًا منطقي تمامًا ، حيث الصفحة جديدة.

لذلك ، في حالتي ، يعكس Yandex Webmaster ما كنت أتوقع رؤيته: ما هو غير مطلوب - تم حذف Yandex ، وما هو مطلوب - أضاف Yandex. لذلك كل شيء على ما يرام مع الالتفافية ، لا توجد أقفال.

صفحات قيد البحث

تتغير نتائج البحث باستمرار - تتم إضافة مواقع جديدة ، وحذف المواقع القديمة ، وتعديل الأماكن في نتائج البحث ، وما إلى ذلك.

يمكنك استخدام المعلومات الموجودة في قسم "صفحات قيد البحث":

• لتتبع التغييرات في عدد الصفحات في Yandex ؛
• لتتبع الصفحات المضافة والمستبعدة ؛
• لمعرفة أسباب استبعاد الموقع من نتائج البحث;
• للحصول على معلومات حول تاريخ زيارة الموقع بواسطة محرك البحث ؛
• للحصول على معلومات حول تغيير نتائج البحث.

هذا القسم ضروري للتحقق من فهرسة الصفحة. هنا يعرض Yandex Webmaster الصفحات المضافة إلى نتائج البحث. إذا تمت إضافة جميع صفحاتك إلى القسم (ستتم إضافة صفحة جديدة في غضون أسبوع) ، فسيكون كل شيء بالترتيب مع الصفحات.

التحقق من عدد الصفحات في فهرس Yandex باستخدام عوامل التشغيل

بالإضافة إلى Yandex Webmaster ، يمكنك التحقق من فهرسة الصفحة باستخدام عوامل التشغيل مباشرة في البحث نفسه.

سوف نستخدم عاملين:

• "الموقع" - البحث في جميع المجالات الفرعية وصفحات الموقع المحدد ؛
• "المضيف" - ابحث في الصفحات المستضافة على هذا المضيف.

دعونا نستخدم عامل التشغيل "site". لاحظ أنه لا توجد مسافة بين المشغل والموقع. 18 صفحة في بحث Yandex.

دعنا نستخدم عامل التشغيل "host". 19 صفحة مفهرسة بواسطة Yandex.

التحقق من الفهرسة مع الملحقات والإضافات

تحقق من فهرسة الموقع باستخدام الخدمات

هناك الكثير من هذه الخدمات. سأريك اثنين.

سرفونت

Serphunt هي خدمة تحليل موقع على الإنترنت. يملكون اداة مفيدة للتحقق من فهرسة الصفحات.

يمكنك فحص ما يصل إلى 100 صفحة موقع في نفس الوقت باستخدام محركي بحث - Yandex و Google.

نضغط على "بدء التحقق" وبعد بضع ثوان نحصل على النتيجة:

تعليمات

تحقق من فهرسة الموقع بواسطة محرك بحث Google عن طريق تحليل صفحات نتائج البحث. افتح في عنوان URL مثل: www.google.com/search؟&q\u003dallinurl:<адрес_сайта>/ + الموقع:<адрес_сайта>حيث بدلاً من العنصر النائب<адрес_сайта> يجب عليك استبدال اسم المجال الذي يشير إلى موقعك. على سبيل المثال ، إذا كان المجال هو codeguru.ru ، فسيظهر عنوان URL بالشكل التالي: www.google.com/search؟&q\u003dallinurl:codeguru.ru/+site:codeguru.ru... ستحتوي نتائج البحث في هذه الحالة على جميع الصفحات المحددة الموجودة في فهرس Google. سيتم عرض العدد الإجمالي للصفحات في أعلى صفحة نتائج البحث. بمقارنة الرقم المعروف مع عدد الصفحات في SERP ، يمكننا أن نستنتج درجة فهرسة الموقع.

تحقق من فهرسة الموقع على Google باستخدام أدوات مشرفي المواقع. سجل باستخدام أدوات مشرفي المواقع من Google على www.google.com/webmasters/tools/... سجّل الدخول إلى لوحة تحكم الخدمة. إضافة الموقع إلى النظام وتأكيد حقوق إدارة الموقع. اذهب إلى العنوان https://www.google.com/webmasters/tools/dashboard.

حدد ما إذا كان موقع Yandex مفهرسًا عن طريق تحليل نتائج البحث. افتح صفحة في متصفح بعنوان مثل http://yandex.ru/yandsearch؟surl\u003d<адрес_сайта>... بدلا من علامة<адрес_сайта> يجب استبدال اسم المجال للموقع الذي تم تحليله في السلسلة. في الجزء العلوي من صفحة نتائج البحث ، سيتم الإشارة إلى العدد الإجمالي لصفحات الموقع المعروفة لمحرك البحث. قارنه بعدد الصفحات على الموقع.

تستخدم معظم مُحسّنات محرّكات البحث أشرطة المتصفح مثل شريط RDS وغيرها للتحقق من الموقع من أجل الفهرسة.

تأخذ جميع الأشرطة هذه البيانات من نتائج محرك البحث باستخدام مختلف المشغلين وفقط "سحب" إلى واجهتهم.

لكن يجب ألا يغيب عن البال أن البيانات التي يتم الحصول عليها بهذه الطريقة ليست دقيقة ، لأن محركات البحث لا تعطي بيانات فهرسة صحيحة للمواقع الكبيرة. من الصور أعلاه ، يمكنك رؤية التناقضات في البيانات ، حتى بالنسبة لموقع صغير. بالنسبة للمواقع الكبيرة (بدءًا من 10000 صفحة) ، يمكن أن تكون بيانات الفهرسة مشوهة للغاية!

كيف يتم فحص الموقع بشكل صحيح للفهرسة بحيث تكون البيانات دقيقة؟

على عكس الموقع بأكمله ، توفر محركات البحث بيانات دقيقة عن فهرسة كل صفحة محددة. لذلك من الضروري أخذ جميع الصفحات الضرورية للموقع والتحقق من فهرسة كل منها على حدة ، ثم جمع كل البيانات معًا للحصول على صورة كاملة لفهرسة الموقع بالكامل. هذا صحيح لكل من Yandex و Google.

فحص جماعي لصفحات الموقع
للفهرسة في Yandex و Google
بواسطة Rush Analytics

عظم خدمات عبر الانترنت عن طريق التحقق من الفهرسة ، يمكنك التحقق من عدد صغير من الصفحات - من 10 إلى 100. ولكن ماذا لو كنت بحاجة إلى التحقق من فهرسة متجر أو بوابة إلكترونية كبيرة تضم 100000 أو عدة ملايين صفحة؟ لمهام بهذا الحجم ، أطلقت Rush Analytics وحدة لفحص الفهرسة في Yandex و Google. المزايا والقدرات الرئيسية لهذه الوحدة:

• تحميل دفعي مناسب للصفحات لفحص الفهرسة بثلاث طرق:

أ) استخدام قائمة عناوين URL
ب) بمساعدة ملف ، يتم دعم تنسيقات xls و xlsx و xml
ج) باستخدام ملف Sitemap.xml - ما عليك سوى تحديد المسار إلى خريطة الموقع ، وسنقوم بتحليلها بأنفسنا ، والحصول على عنوان URL من هناك ودفعها للفهرسة!

• عدد غير محدود من عناوين URL للتحقق - يمكنك التحقق من الفهرسة من واحد في كل مرة ، تصل إلى عدة ملايين من الصفحات!
• يتوفر فحص الفهرسة في كل من Yandex و Google: يمكنك إرسال صفحاتك للتحقق فقط في محرك بحث واحد أو في كلاهما في وقت واحد ، فقط ضع مربع اختيار واحد
• تصدير سهل إلى Excel. يمكنك عرض البيانات في كل من إصدار الويب للخدمة وتحميلها بسرعة كملف

لقد قمنا بتوفير شروط خاصة للمواقع والبوابات الكبيرة. إذا كنت بحاجة إلى إجراء فحص لمرة واحدة أو دائم للفهرسة في Yandex و Google من 200000 صفحة ، فاكتب إلينا في الدعم على