كيفية إزالة صفحة من فهرس محرك البحث ولماذا هي ضرورية بشكل عام؟ في هذه المقالة سنستعرض جميع الخيارات ونجيب على الأسئلة الشائعة.

لماذا تزيل الصفحة (الصفحات) من الفهرس؟

يمكن أن يكون هناك العديد من الأسباب لإزالة صفحة أو صفحات من الفهرس. الأكثر شيوعًا هي:

• الصفحة مكررة (على سبيل المثال ، يمكن أن تكون الصفحات site.ru/cat/stranica.html و site.ru/cat/stranica مكررة). وكما يعلم الجميع ، فإن التكرارات في الفهرس شريرة تضر بالموقع ككل.
• لم تعد الصفحة موجودة (على سبيل المثال ، لم تعد المعلومات ذات صلة).

كم من الوقت ستتم إزالة الصفحة من الفهرس

سرعة الإزالة لا تعتمد علينا. المدة القصوى حوالي 60..90 يومًا. في تجربتي ، يبلغ متوسط \u200b\u200bفترة الإزالة حوالي 25.35 يومًا. إذا أشرنا يدويًا من خلال Yandex Webmaster أو لوحة مشرفي المواقع من Google إلى أن الصفحة بحاجة إلى حذف ، فستكون العملية أسرع. أهم شيء هنا هو أن يقوم روبوت البحث بزيارة الصفحة المحظورة بالموقع ، ثم يستبعدها من نتائج البحث عند تحديث الفهرس.

طرق لإزالة صفحة من الفهرس

في الخيارات الموضحة أدناه ، ستكون الصفحة موجودة (ستكون مفتوحة للمستخدمين) ، لكننا سنقوم بتعطيلها (حذفها) في فهرس محرك البحث.

1. من خلال علامة التعريف

من الملائم منع الصفحات من الفهرسة باستخدام ملف robots.txt لأنه يمكنك على الفور تحديد القسم بأكمله بشكل مجمّع ، أو منع فهرسة مجموعة من الصفحات من نفس النوع. ومع ذلك ، تقول محركات البحث بوضوح أن ملف الروبوتات ليس إلزاميًا بالنسبة لهم من حيث التنفيذ. أولئك. يمكن لمحرك البحث ، من الناحية النظرية ، ترك مستند في الفهرس مغلق في الروبوتات. صحيح ، أنا لا أعرف مثل هذه الأمثلة.

3. عبر لوحة مشرف موقع محرك البحث

هناك مثل هذه الفرصة في كل من Yandex و Google في لوحة مشرف الموقع. ومع ذلك ، إذا حذفت الصفحة بهذه الطريقة ، فأنت بحاجة إلى فهم أنه يجب أولاً إغلاق الصفحة بإحدى الطرق المذكورة أعلاه ، وإلا فلن يحدث شيء. مع هذا الحذف ، فإننا نلمح فقط للبحث في الروبوتات أنه من الضروري زيارة هذه الصفحات في الجولة التالية.

3.1. لوحة مشرف موقع Yandex

عنوان الصفحة هو http://webmaster.yandex.ru/delurl.xml. بعد الدخول إلى هذه الصفحة ، تحتاج فقط إلى الإشارة في النموذج إلى عنوان الصفحة التي تريد إزالتها من الفهرس.

3.2 لوحة مشرفي المواقع من Google

عنوان الصفحة - https://www.google.com/webmasters/tools/ ... للوصول إلى النموذج المطلوب ، حدد موقعًا من القائمة (إذا كان لديك عدة مواقع) ثم حدد "فهرس Google" -\u003e علامة التبويب "إزالة عناوين URL".

في Google ، يمكنك تسجيل دليل عناوين URL على الفور (تمامًا كما هو الحال في ملف robots.txt).

4. رؤوس X-Robots-Tag

تستخدم Google هذه الطريقة فقط. يجب أن يكون إدخال الحظر في رؤوس http:

X-Robots-Tag: noindex ، nofollow

5. من خلال إعادة توجيه أو خطأ 404

يمكنك أيضًا إزالة صفحة من الفهرس باستخدام إعادة توجيه أو إرجاع خطأ 404 من الصفحة. في مثل هذه الحالة ، ستقوم محركات البحث أيضًا بإزالة الصفحات من الفهرس.

لقد قمنا بتغطية الطرق الرئيسية لإزالة صفحة من الفهرس. كما كتبت أعلاه ، تختلف سرعة الإزالة في كل حالة. لكن هناك شيء واحد مؤكد - إنه ليس سريعًا. في أي حال ، سوف يستغرق الأمر من 5 إلى 7 أيام على الأقل.

هناك مواقف يحتاج فيها صاحب العمل إلى إزالة صفحة من بحث Google أو Yandex. في بعض الأحيان يدخل المورد إلى SERP عن طريق الخطأ أو تفقد المعلومات الموجودة فيه أهميته. ولكن الأسوأ من ذلك كله ، عندما تقدم محركات البحث صفحات خدمة تحتوي على بيانات عملاء سرية.

لتجنب مثل هذه المواقف ، تحتاج إلى معرفة كيفية إزالة صفحة أو قسم من موقع من الفهرس.

هناك عدة طرق للقيام بذلك ، اعتمادًا على محرك البحث. دعنا نلقي نظرة على إيجابيات وسلبيات كل خيار.

قبل اختيار الطريقة ، قرر:

• تحتاج إلى إزالة الوصول إلى الصفحة فقط من محركات البحث ؛
• تحتاج إلى إزالة الوصول للجميع تمامًا.

خطأ 404

مهم! هذه هي أبسط طريقة للتنفيذ ، ولكن الوقت المستغرق لإزالة المعلومات من نتائج البحث قد يستغرق ما يصل إلى شهر واحد. يزيل الصفحة من كل من محرك البحث والموقع ككل.

بشكل دوري ، عند البحث عن معلومات معينة ، يواجه المستخدم رسالة خطأ 404 - "الصفحة غير موجودة". هذا هو بالضبط نتيجة الحذف الفعلي لصفحة الموقع.

يتم ذلك عن طريق حذف الصفحة في اللوحة الإدارية للموقع. بلغة محركات البحث ، تم تكوين الخادم ، والذي يوفر حالة http مع رمز 404 غير موجود لعنوان URL محدد. في الزيارة التالية لروبوت البحث ، يقوم الخادم بإبلاغه بعدم وجود مستند.

بعد ذلك ، يدرك محرك البحث أن الصفحة لم تعد متوفرة ويقوم بإزالتها من نتائج البحث حتى لا ينتقل المستخدمون من البحث إلى صفحة الخطأ 404.

هذه الطريقة لها خصائصها الخاصة:

• البساطة: يتم إجراء الإعدادات ببضع نقرات فقط.
• تختفي الصفحة تمامًا من الموقع ، لذلك إذا كنت بحاجة فقط لإخفاء المعلومات السرية من الإصدار ، فمن الأفضل اللجوء إلى طرق أخرى.
• إذا كانت هناك روابط واردة للصفحة التي تريد إخفاءها ، فسيكون من الأفضل إعداد إعادة التوجيه 301.
• ليست إزالة الصفحة من الموقع هي التي تؤدي مباشرة إلى ترك الصفحة من البحث ، بل إلى الفهرسة اللاحقة. في المتوسط \u200b\u200b، يستغرق الروبوت من يوم إلى يومين إلى شهر لزيارة المورد وأخذ اتصال الصفحة.

على الرغم من أن هذا الخيار هو أحد أبسط الخيارات وأكثرها ملاءمة لمشرف الموقع ، إلا أن رسالة الخطأ 404 نادرًا ما تكون ممتعة لزائر الموقع. في بعض الحالات ، يمكن أن يؤدي ذلك إلى حقيقة أن العميل لن يعود مرة أخرى إلى هذا المورد.

لتجنب مثل هذه العواقب ، يحاول المزيد والمزيد من مشرفي المواقع اليوم تصميم صفحة بها خطأ 404 أو وضع المعلومات والاقتراحات هناك التي قد تهم المستخدم. تجعل هذه السياسة الموقع أكثر ملاءمة للعملاء ، مما يزيد من شعبيته.

ملف robots.txt

مهم! هذه الطريقة لا تزيل الصفحة من البحث ، إنها تخفيها فقط من النتائج. تظل الصفحة قابلة للعرض من قنوات حركة المرور الأخرى.

طريقة شائعة للتخلص من الكائنات الفردية والأقسام بأكملها. من خلال ملف robot.txt ، يتم توفير كل من الإذن والحظر للفهرسة ، لذلك ليس من المستغرب إنشاء العديد من الإرشادات المفيدة على الإنترنت حول موضوع خوارزميات حذف الصفحات بهذه الطريقة ، على سبيل المثال ، من Devaka. لكنها تستند إلى مبدأ واحد: استخدام التوجيه Disallow.

لمنع محركات البحث من الزحف إلى الصفحة ، يجب أن يكون لديك حق الوصول إلى المجلد الجذر للنطاق. خلاف ذلك ، سيكون عليك استخدام العلامات الوصفية.

• وكيل المستخدم: يتم إدخال اسم الروبوت الذي سيتم تطبيق الحظر عليه هنا (يمكن أخذ الاسم من قاعدة بيانات الماسح ، ولكن في حالة ، ولكن إذا كنت تريد إغلاق الصفحة من الجميع في المستقبل ، فما عليك سوى استخدام "User-agent: *") ؛
• Disallow: يحدد هذا التوجيه مباشرة العنوان المعني.

هذا الزوج هو الذي يشكل أمرًا فيما يتعلق بعنوان URL محدد. إذا لزم الأمر ، يمكن حظر عدة كائنات من نفس الموقع في ملف واحد ، والتي ستكون مستقلة تمامًا عن بعضها البعض.

بعد إغلاق صفحة أو قسم من خلال ملف robots.txt ، عليك انتظار الفهرسة التالية.

تجدر الإشارة هنا إلى أن الإجراء في ملف robots.txt بالنسبة لمحركات البحث هو مجرد توصية لا يلتزمون بها دائمًا. حتى إذا تم اتباع هذا التوجيه ، فسيظل المورد يظهر في SERP ، ولكن بالفعل مع نقش سيتم إغلاقه عبر ملف robots.txt.

بمرور الوقت فقط ، إذا لم تتغير حالة الكائن في الملف ، فستزيله محركات البحث من قاعدة بياناتها.

في أي حال ، ستظل الكائنات المحذوفة متاحة للعرض عند اتباع الروابط الخارجية ، إن وجدت.

علامة Meta robots

مهم! تعمل هذه الطريقة على إزالة الصفحة من محركات البحث ، ولكن تظل الصفحة قابلة للعرض من قنوات حركة المرور الأخرى.

إلى حد ما ، يُسمى هذا الخيار بديلاً عن الخيار السابق ، هنا فقط يتم تنفيذ العمل في كود html بين علامات الرأس:

<meta name \u003d "robots" content \u003d "noindex، nofollow" /\u003e

بعد إدخال الأمر ، يجب أن تنتظر الفهرسة التالية للمورد ، وبعد ذلك تصبح التغييرات سارية المفعول.

لماذا هذه الطريقة جيدة؟

باستخدام العلامات الوصفية ، يمكنك إزالة عنوان url من Google أو Yandex لصفحة واحدة ولقائمة كاملة مرة واحدة. هذا يجعل ملف robots.txt بسيطًا. يوصى بهذا الخيار للمبتدئين الذين يعملون خطوة بخطوة أثناء إنشاء صفحات موقع ويب جديدة.

حقيقة مثيرة للاهتمام! باستخدام هذه الطريقة ، يمكنك إزالة صفحة من محرك بحث وتركها في الباقي.

يُعد إغلاق الصفحة باستخدام العلامات الضخمة أفضل طريقة لإزالة صفحة من فهرس Google ، وتركها نشطة في Yandex إذا لزم الأمر. يوصى أيضًا باستخدام هذه الطريقة في المواقف التي تحتاج فيها إلى إزالة صفحة من الفهرس ، مع الاحتفاظ بمعلوماتها على الموقع للاستخدام الداخلي.

مثال

يغلق الصفحة لمحركات بحث Google فقط

يغلق صفحة Yandex PS فقط

الميزة غير القابلة للجدل للعلامات الوصفية على ملف robots.txt هي القدرة على إغلاق الصفحة من الفهرسة حتى إذا كانت هناك روابط خارجية. للقيام بذلك ، ما عليك سوى استخدام علامة noindex mega.

عيب استخدام العلامات الوصفية هو أنه إذا لم يكن لديك Wordpress ، فقد تواجه مشكلات في التنفيذ. في Wordpress ، يتم حل المشكلة عن طريق تثبيت المكون الإضافي Yoast SEO ، حيث يمكن إغلاق كل صفحة باستخدام علامة meta tag.

إعادة توجيه 301

مهم! سيؤدي التنفيذ إلى حقيقة أن محتوى الصفحة لن يكون متاحًا على الإطلاق لجميع الزوار ، بما في ذلك أصحاب الموقع.

يتمثل جوهر هذه الطريقة في أنه عندما يبحث المستخدم عن صفحة لم تعد موجودة ، فإن الموقع سيعيد توجيهه تلقائيًا إلى عنوان URL مختلف.

هذا الخيار ليس هو الخيار الأكثر ملاءمة وبساطة لمدير الموقع ، لأن خوارزمية العمل تختلف باختلاف نظام إدارة المحتوى. ومع ذلك ، من وجهة نظر المستخدم ، يعد هذا هو السبيل الأكثر راحة ، وهو أكثر ملاءمة وإمتاعًا من رسالة الخطأ 404.

إذا رغبت في ذلك ، يمكن أن تخضع عملية إعادة التوجيه إلى الحيل التسويقية ونقل المستخدم ليس فقط إلى الصفحة الرئيسية للموقع ، ولكن إلى قسم معين ، حيث تهتم الإدارة بالترويج أو البيع النشط.

غالبًا ما تُستخدم هذه الطريقة عندما يكون من الضروري معالجة عدد كبير من الصفحات القديمة أو عندما يتم تغيير هيكل المورد تمامًا. بعد كل شيء ، تسمح لك إعادة التوجيه بالحفاظ على مركز في تصنيفات محركات البحث ، حتى لا تضيع جهود الترويج للموقع.

ستستغرق إعادة الفهرسة في محركات البحث في المتوسط \u200b\u200bمن 1-3 أيام ، اعتمادًا على الموقع ، ولكن بعد زيارة الروبوت فقط ، ستصبح التغييرات سارية المفعول لزوار المورد.

تعرف على المزيد حول إعداد عمليات إعادة التوجيه 301 على موقع Devaka.

الإزالة اليدوية عبر لوحة مشرف الموقع

مهم! تعمل الطريقة على تسريع إزالة المعلومات من محرك البحث.

طريقة سريعة (تستغرق من 8 إلى 48 ساعة) لحذف موقع أو صفحة من Yandex أو محرك بحث آخر. كل نظام له خوارزمية خاصة به في هذه الحالة ، ولكن هناك شيء واحد يوحدهم - الحاجة إلى استخدام طرق إضافية لإغلاق الصفحة. يمكن أن يكون خطأ 404 ، ملف robots.txt ، علامة ضخمة من اختيارك ، لكن لا يمكنك الاستغناء عن هذا الإعداد.

يمكنك إزالة موقع من بحث google من خلال Google Search Console:

1. قم بتسجيل الدخول إلى شريط الأدوات.
2. حدد المورد الذي تريده.
3. ثم ابحث عن القسم الفرعي "إزالة عناوين URL" في فهرس Google.
4. هنا نقوم بإنشاء طلب جديد للحذف ، ومن ثم إدخال الرابط المطلوب في النافذة التي تفتح والنقر على "إرسال".

في قائمة منفصلة ، يمكنك مراقبة حالة الطلب. عادةً ما تستغرق إزالته من فهرس Google من 2-3 ساعات إلى 24 ساعة. إذا رغبت في ذلك ، يمكنك إرسال عدد غير محدود من الصفحات لتعطيلها بهذه الطريقة.

يوفر النظام أيضًا لمستخدميه وظيفة تجميد الصفحات مؤقتًا (حتى 90 يومًا).

نسير بطريقة مماثلة في Yandex Webmaster. تحذر إرشادات محرك البحث هذا فورًا من الحاجة إلى حظر أولي للفهرسة من خلال ملف robots.txt أو العلامات الوصفية.

بعد ذلك ، سيقوم النظام بفحص الكائن لفترة طويلة لتغيير حالته ، وإذا كانت الصفحة لا تزال غير قابلة للوصول ، فسيقوم الروبوت بحذفها من قاعدة البيانات الخاصة به.
لتسريع هذه العملية ، فور إجراء التغييرات على ملف robots.txt أو العلامات الضخمة ، انتقل إلى حسابك على Yandex. المسؤول عن الموقع.

هنا ، في قسم "إزالة عنوان URL" ، أدخل عنوان الصفحة وأكد إزالته. لا يُسمح بإلغاء تنشيط أكثر من 500 عنصر يوميًا.

ستستغرق إزالة عنوان url من Yandex وقتًا أطول مما هو عليه في حالة Google: من عدة ساعات إلى عدة أيام.

تعد أداة إزالة عناوين URL رائعة في المواقف التي توجد فيها حاجة ملحة لإزالة الصفحات الحساسة أو إزالة المعلومات المضافة عند اختراق أحد المواقع.

إزالة الموقع بأكمله

في بعض الأحيان تكون هناك مواقف عندما يكون من الضروري إزالة ليس فقط بضع صفحات من نتائج البحث ، ولكن أيضًا من المورد بأكمله.

يمكن القيام بذلك باستخدام جميع الطرق المذكورة أعلاه + لوحة مشرف موقع Google أو Yandex ، ما عليك سوى إجراء تغييرات في التفاصيل. عند حذف المورد بأكمله ، يتم استبدال اسم المجال بعنوان URL.

إغلاق مع تسجيل الدخول وكلمة المرور على الخادم. هذا هو الحل الأفضل للمواقع في مرحلة التطوير وللإصدارات التجريبية. تعتمد خوارزمية الإجراءات في هذه الحالة على نظام إدارة المحتوى الذي تم على أساسه إنشاء المورد.

لكي تعمل هذه الطريقة ، اطلب من المطورين تكوين الوصول إلى الموقع فقط عن طريق تسجيل الدخول وكلمة المرور.

مجموع

لن تكون إزالة صفحة أو حتى موقع بأكمله أمرًا صعبًا على مالكها أو مسؤولها. من بين الأساليب الحالية ، يمكن للجميع اختيار الخيار الأكثر ملاءمة لأنفسهم. ولكن إذا كانت هناك حاجة لتحقيق نتيجة في أسرع وقت ممكن ، فمن الأفضل استخدام عدة طرق في نفس الوقت.

لا يزال لديك أسئلة؟ سيساعدك فريقنا في سؤالك. اترك سؤالك ل.

(2)

واجه كل مشرف موقع تقريبًا ، خاصة في المرحلة الأولى من إنشاء مشروع ، الحاجة إلى إزالة صفحات موقع الويب من فهرس محرك البحث. على الرغم من أن الإجراء ، للوهلة الأولى ، بسيط للغاية ، لا يزال الكثيرون يواجهون صعوبات.

أحيانًا يتعين على مالك مورد الويب إخفاء مستند من محركات البحث للأسباب التالية:

• الموقع قيد التطوير ودخل إلى SERP عن طريق الصدفة ؛
• محتوى الصفحة لم يعد ذا صلة ؛
• المستند يكرر صفحة أخرى موجودة بالفعل على الموقع ؛
• يتضمن الفهرس صفحات الخدمة حيث توجد البيانات الشخصية للعملاء.

لتجنب مثل هذه الحالات ، سنتحدث اليوم عن 4 طرق فعالة لإزالة صفحة من فهرس محرك البحث.

كيف تغلق صفحة من محركات البحث باستخدام لوحة مشرف الموقع؟

تعتبر طريقة منع الوصول إلى صفحات موقعك لروبوتات البحث من أسهل الطرق. علاوة على ذلك ، تعد هذه الأداة مثالية لتلك الحالات التي يلزم فيها إزالة عناوين URL معينة بشكل عاجل.

ياندكس

للقيام بذلك ، تحتاج إلى خدمة Yandex.Webmaster. لقد أخبرناك بكيفية إضافة موقع إلى هذا الموقع لتسريع عملية الفهرسة. اتبع الرابط https://webmaster.yandex.ru/tools/del-url/ وأضف عنوان صفحة معينة في الحقل المقابل ، ثم انقر فوق "حذف".


بدرجة عالية من الاحتمالية ، سيطلب منك Yandex تسريع عملية حذف صفحة من قاعدة بيانات النظام. للقيام بذلك ، تحتاج أولاً إلى إغلاقها من الروبوتات من خلال ملف أو علامة تعريف برامج الروبوت ، أو جعل الخادم يعرض الخطأ 404. سنتحدث عن كيفية القيام بذلك بعد قليل.

سيستغرق الأمر عدة ساعات أو حتى أيام قبل أن تحذف الروبوتات المستند من قاعدة البيانات. هذا يرجع إلى حقيقة أن النظام سيحتاج إلى تتبع حالته والتأكد من أنه لم يعد يتغير.

جوجل

تسجيل الدخول إلى الموقع أدوات مشرفي المواقع من Google ... أضف موقعك إلى الفهرس مقدمًا إذا لم تكن قد قمت بذلك بالفعل. ثم ابحث عن علامة التبويب "فهرس Google" هناك ، وتحتها "إزالة عناوين URL". في النافذة التي تظهر ، حدد الخيار لإنشاء طلب حذف ، وأدخل عنوان المستند المراد حذفه في الحقل. ثم أرسل طلبك.

خطأ الخادم 404

من المؤكد أن كل مستخدم يبحث عن المعلومات الضرورية على الإنترنت انتهى به المطاف في صفحة قدمها خطأ 404 - لم يتم العثور على الصفحة"... هذا يعني أن المستند الذي كنت تبحث عنه قد تمت إزالته من المورد.

يمكن لمسؤول الموقع القيام بذلك في لوحة تحكم الموقع ، على سبيل المثال ،. بالنسبة لمحركات البحث ، يعني هذا أنك تقوم بتهيئة خادم الاستجابة لهذه الصفحة بحيث يظهر الرمز في عنوان معين 404 ليسوجدت... وعندما يزور الروبوت عنوان URL المحدد مرة أخرى ، سيبلغه الخادم بأن الصفحة لم تعد موجودة. يوضح هذا لمحركات البحث أنه تمت إزالة المستند من الموقع ، وسوف يقومون بإزالته من نتائج البحث حتى لا يذهب الزوار إليه ويقرأون الخطأ 404.

تشمل السمات المميزة لهذه الطريقة ما يلي:

1. إعداد سهل ببضع نقرات.
2. اختفاء كامل للوثيقة من مورد الويب. لهذا السبب ، لا يوصى باستخدام هذه الطريقة في الحالة التي تحتاج فيها إلى إزالة صفحة خدمة من الفهرس (معلومات سرية للعملاء ، وما إلى ذلك).
3. يجدر أيضًا اللجوء إلى خيار آخر لإخفاء الصفحة ، على سبيل المثال ، إعادة التوجيه 301 إذا كانت الروابط الواردة تؤدي إليها.

مهم! تقع الصفحة خارج فهرس البحث ليس بسبب إزالتها من المورد ، ولكن بسبب مزيد من إعادة الفهرسة. لذلك ، لإزالته ، سيتعين عليك الانتظار حوالي أسبوعين حتى يزور الروبوت المورد مرة أخرى.

بالنسبة لمشرفي المواقع ، تعد هذه الطريقة من أكثر الطرق ملاءمة ، ولكن قد لا يحب الزائر الخطأ 404 ، وهناك خطر من أن يتوقف المستخدم ، عند رؤيته ، عن زيارة الموقع. ولكن هناك طريقة للخروج من هذا الوضع أيضًا.

في المذكرة. في كثير من الأحيان ، يشارك منشئو المواقع في تصميم مثير للاهتمام للصفحة التي يتعطل فيها الخطأ 404. ينشرون معلومات مفيدة هناك ويعرضون زيارة صفحات أخرى من المورد ، والتي ستجذب بالتأكيد انتباه الزائر. هذا سيجعل هذه الصفحة أكثر جاذبية للمستخدم ، مما سيكون له بالتأكيد تأثير إيجابي على ترتيبه وتقديره.

تعديل ملف robots.txt

طريقة أخرى شائعة يستخدمها مشرفو المواقع. يسمح لك بإخفاء المستندات الفردية والأقسام بأكملها. في ملف الروبوتات ، لا يمكنك الرفض فحسب ، بل يمكنك أيضًا السماح لروبوتات البحث بفهرسة موقع أو صفحات معينة. يتم توفير هذه الأوامر من خلال توجيه Disallow.

لإخفاء صفحة من محركات البحث ، تحتاج إلى الوصول إلى المجلد الجذر للموقع. يحتوي مستند robots.txt بشكل أساسي على سطرين:

1. المستعمل-وكيل. يشار هنا إلى اسم الروبوت الخاص بمحرك بحث معين ، والذي تمنعه \u200b\u200bمن الزحف إلى الصفحة ، أو تتم كتابة رمز وكيل المستخدم: *هذا ينطبق على جميع برامج الروبوت مرة واحدة.
2. عدم السماح. عنوان URL للصفحة المراد حذفها مكتوب هنا.

معًا ، يقومون بإنشاء أمر لمحركات البحث لعنوان URL المحدد. إذا لزم الأمر ، يمكنك إخفاء عدة مستندات على مورد واحد في ملف واحد في وقت واحد ، ولن يؤثر كل منهما على الآخر بأي شكل من الأشكال.

على سبيل المثال ، هذه هي الطريقة التي نخبر بها جميع روبوتات البحث بعدم فهرسة صفحات الفهرس وكلمة المرور على موقعنا.

وكيل المستخدم: * Disallow: / index Disallow: / password

عندما تكتب هذا الأمر ، ستحتاج إلى انتظار الفهرسة التالية. يجب أن تعلم أن جميع التغييرات التي يتم إجراؤها على ملف الروبوتات هي ذات طبيعة استشارية لمحركات البحث ، لذلك لا تتفاجأ إذا ظل الكائن في الفهرس ، ولكن تم وضع علامة عليه ليتم إخفاؤه من خلال ملف robots.txt. ولكن إذا لم تتغير حالة المستند بعد فترة زمنية معينة ، فسيظل يتم حذفه من قاعدة بيانات محرك البحث.

مهم! إذا كانت هناك روابط خارجية على الصفحات البعيدة ، فستظل متاحة لمتابعتها. هذا يرجع إلى حقيقة أن الأوامر الموجودة في ملف الروبوتات لا تزيل الكائن فعليًا من نتائج البحث ، ولكنها تخفيه فقط من النتائج.

العلامة الوصفية للروبوتات

إذا لم تخوض في التفاصيل ، فهذه الطريقة مشابهة لما سبق ، تتم كتابة جميع الأوامر فقط في كود html الخاص بالموقع داخل علامات head:

سيتم إجراء جميع التغييرات أيضًا بعد الفهرسة. تتمثل ميزة استخدام علامة meta robots في أنه يمكنك إزالة عناوين URL متعددة من بحثك باستخدامها دون الحاجة إلى تغيير برامج الروبوت. هذه الطريقة مثالية لمنشئي المواقع المبتدئين الذين يقومون بإنشاء صفحات جديدة تدريجيًا.

إنه أيضًا خيار رائع عندما تحتاج إلى إغلاق الصفحة من فهرس Yandex ، ولكن في نفس الوقت اتركه متاحًا على Google. أو عندما تريد إزالة كائن من البحث ، مع ترك المعلومات متاحة على الموقع نفسه.

مثال على إغلاق عنوان URL لـ Yandex فقط:

مهم! تختلف كتابة العلامات الوصفية عن تغيير ملف robots.txt في أنه يمكنك استخدامها لإزالة كائن من البحث ، حتى إذا كانت الروابط الخارجية تؤدي إليه. يتم تسهيل ذلك من خلال علامة noindex الوصفية. ومع ذلك ، إذا لم يكن موقعك مبنيًا على WordPress ، فسيكون الإجراء أكثر تعقيدًا. الحقيقة هي أن WP لديه ملحق Yoast SEO خاص يسمح لك بحذف الصفحات ذات العلامات الوصفية.

خاتمة

إذا احتجت فجأة إلى إزالة صفحة فردية من موقعك من فهرس البحث ، فيمكنك بسهولة استخدام جميع الطرق المشار إليها في هذه المقالة. اختر الخيار الأكثر ملاءمة لك ، ولكن في نفس الوقت ضع في الاعتبار السمات المميزة لكل منها. بشكل عام ، إذا كنت تريد إغلاق المستند في أسرع وقت ممكن ، فاستخدم عدة خيارات في وقت واحد.

مقالات في نفس الفئة

أوه ، هذه أخطاء النمو ...

في ممارستي ، كانت هناك حالة. كتبت مقالات ، بذلت قصارى جهدي ، كانت هناك ستين مقالة كتبت في ذلك الوقت وفجأة!

أجد مثل هذه التفاصيل ، تم تكوين لي على المدونة بشكل غير صحيح تمامًا ، يمكنك أن ترى كيف تحتاجها في هذه المقالة.

حسنًا ، كما تعلم ، المدونة موجودة في الفهرس ويأتي الزوار من نتائج محرك البحث. يتم عرض بعض المقالات في أعلى المراكز في المركز الخامس الثاني وتجذب الكثير من الأشخاص إلى المدونة.

والآن ، كمين ، فأنت بحاجة إلى إعادة كل الروابط؟ لقد لجأت إلى متخصصين ذوي خبرة في تحسين محركات البحث (SEO) ، يقولون إن هذا السؤال دائمًا ما يكون قيد المناقشات ، والبنية ، بغض النظر عما قد يقوله المرء ، معطلة. يبدو أنه يعمل هكذا ...

لكن صديقًا مدونًا قال إنه كان لديه أكثر من 170 مقالة ، وبدأ في عمل النقانق ، وأعاد صياغته.

وفقط في نهاية عنوان URL لكل مقالة ، لا توجد شرطة مائلة [ / ] يجب أن يكون ، ولكن [.لغة البرمجة] !!!

فكرت وفكرت وأخذتها. وأعدها. بالطبع انخفض الحضور ، ثم بدأ ينمو تدريجياً ، ولكن هنا تكمن المشكلة.

تظل الصفحات التي تحتوي على شرطة مائلة في الفهرس ويأتون إليّ الزوار من محركات البحث بشكل طبيعي ويعثرون على صفحة 404. لا يوجد مثل هذا المقال هنا ، اللعنة ... ما هذا اللعنة ...

لذلك توصلنا إلى جوهر المقالة ، نحتاج إلى إزالة عناوين URL هذه من الفهرس.

إزالة الصفحات من فهرس محرك البحث

بعد أن درست هذه المسألة ، بدأت العمل. اتضح أن الصفحات غير الموجودة يمكن أن تظهر لأسباب عديدة.

لماذا تبقى الصفحات المغلقة والمحذوفة قيد البحث

هناك عدة أسباب. اسمحوا لي أن أوضح أنه ضمن الصفحات المغلقة نعني الخدمة والصفحات الأخرى التي يحظر فهرستها بواسطة قواعد robot.txt أو العلامات الوصفية.

توجد صفحات غير موجودة في البحث للأسباب التالية:

- محذوفة ، وبالتالي فهي غير موجودة
- بسبب التحرير اليدوي لعنوان صفحة الويب. لا يمكن القيام بذلك بشكل قاطع ، يصبح الوصول إليه على الفور غير ممكن.
- لم يتم تكوين عمل الخادم بشكل صحيح ، وفي هذا الصدد ، ستؤدي الصفحة غير الموجودة إلى ظهور خطأ 404.

يتم إنشاء صفحات إضافية في الفهرس إذا:

- الصفحات مغلقة ، لكنها في الحقيقة قيد البحث ومفتوحة للبحث (لم يتم تكوين ملف robots.txt بشكل صحيح)
- تم فهرستها قبل إغلاقها
- هذه الصفحات مرتبطة من مواقع أخرى أو مرتبطة من صفحات داخلية.

حسنًا ، إذا كانت الأسباب معروفة لنا ، وتم التشخيص ، يمكنك البدء في العلاج.

ليس من غير الضروري أن نذكر أنه بعد القيام بالعمل للقضاء على جميع العضادات ، فإنها ستكون موجودة في البحث لبعض الوقت. كل هذا يتوقف على وتيرة مرور الروبوتات عبر موقعك.

كيفية إزالة صفحة من بحث Yandex

تم الإرسال وفي المرة التالية التي يأتي فيها الروبوت ، سيتم تنفيذ طلب الحذف.

كيفية الإزالة من الفهرس في محرك بحث جوجل

في Google ، افتح أدوات مشرف الموقع في قائمة التحسين قم بإزالة عناوين URL باستخدام الرابط https://www.google.com/webmasters/tools/url-removal؟hl\u003dar&siteUrl\u003dhttp://www.site/

أو اكتب في بحث Google "أداة لمشرفي المواقع" وانقر في الجزء العلوي على السطر العلوي.

سيتم فتح نافذة Search Console ، حيث انقر فوق عنوان URL لموقعك ، إذا كان هناك واحد. إذا لم يكن كذلك ، أضف المورد الخاص بك (الزر على اليسار).

ثم ستكون هناك قائمة على اليسار ، عليها المسار فهرس Google -\u003e إزالة عناوين URL.

انقر فوق الزر إخفاء مؤقتًا وأدخل العنوان المراد حذفه في النافذة. الزر "متابعة".

ثم حدد سببًا وأرسل طلبك. سيتم عرض طلب الحالة.

وبعد فترة ، ستخرج الصفحة من الفهرس.

حسنًا ، هذه القصة كاملة)))

هذا موضوع ساخن للغاية. كثير من الناس يستخدمون Yandex.String في Windows أو النموذج بحث Yandex في المتصفح... تقليديًا ، يتم عرض إجابات الاستعلامات الشائعة واقتراحات البحث في حقل الإدخال نفسه كبحث مباشر. هذا ملائم للغاية ، لكن ... محركات البحث ، بما في ذلك Yandex ، تجمع معلومات حول اهتماماتك على الإنترنت ، ثم حاول تخمين تفضيلاتك مع مراعاة هذه الاهتمامات. أولئك. يجدر البحث عن وصفة الكعك في Yandex مرة واحدة ، وفي المرة القادمة ، بمجرد إدخال الحرف "P" ، ستظهر مجموعة من النصائح مع كلمة "bun". يشير هذا بشكل غير مباشر إلى سجل البحث السابق والاهتمامات عبر الإنترنت. في بعض الأحيان ، يتم استخدام الكمبيوتر بواسطة عدة أشخاص ، ولا تريد دائمًا أن يرى شخص آخر محفوظات البحث الخاصة بك. كيفية حذف الاستعلامات في شريط بحث Yandex إذا كنت لا ترغب في مشاركة اهتماماتك مع أشخاص آخرين واصلوا القراءة.

سننظر في كيفية التعامل مع شريط البحث. في المتصفحولل بحث في Yandex على شريط المهام شبابيك.

لمنع تلميحات من الظهور في المتصفح

اول شيء... نحذف محفوظات البحث في المتصفح نفسه. لا ينطبق هذا على بحث Yandex ، ولكن ما الهدف من إخفاء طلباتك السابقة إذا كان يمكنك بسهولة العثور على قائمة بجميع المواقع التي تمت زيارتها في المتصفح.

يمكنك معرفة كيفية مسح محفوظات المستعرض في الصور. أو اعثر على مزيد من التفاصيل على الإنترنت إذا لم يكن المستعرض الخاص بك معروضًا أدناه.

مسح محفوظات الاستعراض في Mozilla FireFox

مسح محفوظات الاستعراض في Google Chrome

مسح محفوظات الاستعراض في Opera

بامكانك ايضا مسح ملفات تعريف الارتباط بعد كل بحث... في هذه الحالة ، لن يتم ربط معلومات محفوظات البحث بالمتصفح الخاص بك. بعد مسح ملفات تعريف الارتباط ، لن تحمل نصائح البحث أي معلومات عنك.

ومع ذلك ، فمن الأسهل تكوين " البحث الشخصي"حتى لا تحمل القرائن معلومات حول سجل البحث الخاص بك.

الخوارزمية هي على النحو التالي:

لحذف الطلبات في Yandex Line

في Windows 10 ، يوجد Yandex.String على شريط المهام، إفتراضي. يتيح Yandex.Stroka إمكانية إجراء استعلام بحث على الإنترنت مباشرة من شريط المهام دون تشغيل المتصفح مباشرة. يبحث سطر آخر عن المجلدات الموجودة على جهاز الكمبيوتر الخاص بك. ويمكن أن تستجيب للأوامر الصوتية. مناسب تمامًا وآمن إذا كنت تستخدم الكمبيوتر فقط.

من أين تحصل Yandex.Stroka على اقتراحات البحث؟

تستمد السلسلة المعلومات من عدة مصادر

• قائمة الروابط عند الطلب من بحث Yandex
• روابط لأقسام الموقع المحدد
• إجابات على استفسارات Yandex الشائعة
• نتائج فهرسة وسائط الكمبيوتر (HDD ، SSD ، إلخ)