Как использовать noindex и nofollow

Noindex и nofollow — разные по функционалу элементы. Их часто путают, и как только не называют: тегами, метатегами, атрибутами. Расставим все точки над «i» и расскажем, чем отличается noindex от nofollow и в каких случаях их целесообразно использовать.

1. Задать правила индексации страницы и ссылок на ней

Прежде всего, noindex и nofollow (наряду с index и follow) — это указания для поисковых роботов в метатегах секции

. Их понимают все без исключения поисковики. Указания index или noindex разрешают или запрещают роботу индексировать содержимое страницы, а follow и nofollow — переходить по ссылкам на странице.

Возможны такие варианты:

— в этом случае разрешена индексация страницы и ссылок.

— запрещена индексация содержимого страницы, но разрешен переход по ссылкам.

— разрешена индексация, но запрещен переход по ссылкам.

— запрещается и индексация, и переход по ссылкам.

От индексации следует закрывать служебные страницы (вход в административную панель, логи сервера) а также дублированный контент (страницы архивов, тегов, результаты поиска по сайту, в некоторых случаях — пагинацию).

Если вы хотите оставить указания только для какого-то конкретного робота, нужно указать его идентификатор в метатеге. Например, для бота Google:

Если не задать указания для робота, то он по умолчанию принимает значения index и follow.

Перечень метатегов, которые учитывает Яндекс, найдете в Справке Вебмастера, Google — в документации Центра Google поиска.

В чем отличие директив noindex и nofollow от запрета в robots.txt

Запретить поисковым роботам индексировать страницу можно несколькими способами. Самых популярных два:

• Добавить в секцию HTML-кода страницы директивы noindex и nofollow:

Запретить страницу для индексации при помощи директивы Disallow в файле robots.txt:

Disallow: /page1.html

В чем же принципиальная разница между этими двумя методами?

Для страниц, которые еще не проиндексированы роботами, особой разницы нет — можно использовать оба способа.

Страницы, которые уже есть в индексе, лучше закрывать директивами noindex и nofollow в meta robots. В этом случае поисковики быстрее исключат страницу их индекса и больше не проиндексируют ее.

Важно! Чтобы робот правильно интерпретировал директивы noindex и nofollow и не добавил страницу в индекс, нельзя одновременно закрывать доступ к ней в файле robots.txt при помощи директивы Disallow. Робот не получает доступа к странице и не видит запрещающих директив. А если на страницу стоит ссылка с другого сайта, краулер перейдет по ней и добавит страницу в индекс.

Еще один вариант полного запрета индексации страницы — настроить HTTP-ответ с заголовком X-Robots-Tag и значением noindex или none. Пример такого заголовка в коде:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex

2. Скрыть неуникальный или повторяющийся текст от Яндекса

Для того чтобы закрыть не всю страницу, а только ее часть от индексации, используется тег . Причем это «ноу-хау» Яндекса. Google тег не понимает и считает его невалидным. Синтаксис выглядит так:

текст, который следует скрыть от индексации

Проблема в том, что при такой конструкции во время валидации кода будут ошибки. Если вы хотите сделать код валидным, используйте такой синтаксис:

текст, который следует скрыть от индексации

Альтернативный способ закрыть от индексации часть текста на странице — добавить тег