Удаление страниц из поиcка

Здравствуйте! На связи начинающий блоггер. Иногда в выдачу google или yandex попадают страницы сайта, которые там не нужны, например страницы поиска, архивы, страницы ярлыков. По сути, это дубликаты страниц, которые нужно закрывать в файле robots.txt или метатегами. Но даже если они закрыты от индексации, все равно может случиться "утечка" и такие страницы появляются в индексе.

Также иногда нужно удалить сообщения, которые утеряли свою значимость или страницы с заведомо не уникальным контентом, например на моем блоге полезных советов есть рубрика "Рассказы", в которой собираются интересные на мой взгляд короткие рассказы известных (и не только) писателей. Понятное дело, что такие страницы нужно запрещать к индексации.

Первым необходимым условием для удаление страницы из поиска является ее закрытие от индексации. Это можно сделать либо запретив страницу в файле robots.txt либо метатегом "robots".

Рассмотрим первый случай, запретим страницу, например с этим сообщением, в robots.txt. Для этого добавляем в него такую строчку:
В результате файл будет выглядеть таки образом:
Второй случай – метатег "robots". По сути, он делает то же самое, только его нужно добавлять непосредственно в код страницы, между тегами <head>...</head>. На вордпрессе удобно пользоваться специальными плагинами, например "WordPress Meta Robots". На блогспоте нужно включить в настройках поиска теги для заголовков (там лучше ничего не менять, все что нужно, уже отмечено):

Noindex, nofollow

и в редакторе сообщений отметить noindex и nofollow:

Noindex, nofollow

или просто отметить "none". Если нужно чтобы все индексировалось, то отметьте "all". Это аналогично "noindex, nofollow".
Noindex значит, что страница не должна индексироваться, а nofollow указывает роботу, что ссылки на странице не должны учитываться.
То есть, по идее, ссылки на свои же внутренние страницы нужно позволить учитывать, ведь в этом и заключается "внутренняя перелинковка" сайта. А внешние ссылки можно закрывать при помощи rel="nofollow", добавляя его непосредственно к коду ссылок.
Таким образом, для запрета индексации страницы достаточно отметить значение "noindex".
После этих манипуляций  можно удалять сами страницы из индекса. Для Google это можно сделать в панели управления инструментов для вебмастеров, на вкладке "Оптимизация".

вебмастер гугл

В яндексе можно удалить страницу из поиска в Вебмастере.

Страницы, понятное дело, сразу не удалятся из индекса, нужно немного подождать. Также не исключено, что они снова там могут появиться, поэтому нужно иногда проверять их наличие в выдаче, этакий технадзор получится.
Для проверки индексации сайта нужно ввести запрос site:irjkz.ru (для своего сайта используете свой адрес).
Кстати, по этому запросу Google почему-то включает слишком много страниц, в том числе и запрещенные к индексации. Что бы просмотреть основную выдачу Google, нужно ввести запрос
На этом все, удачи всем, следите за индексацией своих сайтов и блогов! 

0 коммент.:

Отправить комментарий

Яндекс.Метрика