Тонкое управление индексацией сайта

Тонкое управление индексацией сайта

28.11.2016

Периодически в структуре сайта можно найти страницы, которые необходимо закрыть от индексации, но желательно оставить поисковым роботам возможность переходить по ссылкам на другие страницы.

Такую настройку индексации можно осуществить благодаря настройке meta robots:

<meta name="robots" content="noindex, follow"/>

Примеры использования

Для корректной работы данного указания поисковому роботу следует помнить, что вывод данного мета-тега должен осуществляться один раз. Многие CMS сами выводят шаблонизированное значение, поэтому возможен двойной вывод разных значений мета-тега robots. Поисковые системы по-разному могут сканировать страницу - либо по первому meta-тегу, либо по последнему.

Get-параметр в URL

Довольно часто в каталоге товаров или больших сайтов с информационным конентом необходимо настраивать индексацию страниц фильтрации или постраничной навигации. Именно в такой ситуации удобно настраивать данный мета-тег:

<? if ($_GET['PARAM_PAGE']) { ?>
<meta name="robots" content="noindex, follow"/>
<?} else {?>
<meta name="robots" content="index, follow"/>
<?}?>

Данный код приведен на языке PHP, в любом другом языке программирования логика такая же. $_GET['PARAM_PAGE'] - на это место можно поставить любое значение, которое содержит параметры фильтрации или постраничной навигации.

Вхождение подстроки в строку URL

Довольно часто нужно закрыть от индексации определенный тип страниц, иногда CMS создает данные страницы и убрать эту генерацию невозможно. В данном случае необходимо делать проверку наличия данного параметра в URL:


<? if (strstr($_SERVER["REQUEST_URI"],"feed")!=false) { ?>
<meta name="robots" content="noindex, follow"/ >
<?} else {? >
<meta name="robots" content="index, follow"/ >
<?}?>

В данном случае любой URL, содержащий "feed" будет закрыт от индексации, но по ссылкам поисковый робот сможет переходить.

Настройка для конкретной поисковой системы

В случае если необходимо настроить индексацию для конкретной поисковой системы, то необходимо указывать мета-тег для каждой поисковой системы:

<meta name="yandex" content="noindex, follow"/>

<meta name="googlebot" content="noindex, follow"/>

В поле "name" необходимо указывать не название поисковой системы, а именно названия поисковых роботов.