Настройка зеркал сайта

Настройка зеркал сайта

24.10.2016

Как настроить зеркала сайта для правильного индексирования? Как определить какое зеркало является главным?

Зеркалом сайта называют точную копию сайта, размещенную на другом домене и доступном для индексации. Практически всегда зеркала сайта расположены на том же хостинге и имеют одну систему управления - домены просто прописываются как синонимы. Поэтому изменяя контент и структуру на одном сайте, мы сразу меняет контент на всех других доменах.

Как найти главное зеркало?

В настоящий момент поисковые системы могут автоматически определять зеркала сайтов и поэтому полностью индексируют только один домен. Это сделано, чтобы при формировании результатов поисковой выдачи не было несколько копий по факту одного документа.

Проверяем индексацию основного домена и зеркал с помощью директивы "site:" или "host:" - просто вбивая в поисковую строку запрос типа "site:mydomain.ru". Основное зеркало будет иметь самое большое число проиндексированных документов. Зеркала сайта будут иметь значительно меньшее число страниц в индексе.

Минусы наличия зеркал

Дублирования контента является основной проблемой при индексации сайтов поисковыми системами. Текст на сайте больше не является уникальным, а поисковая система видит, что уже индексировала этот документ и может пометить страницу, как спам.

Для успешного роста в поисковых системах необходимо обязательно указывать главное зеркало и настраивать корректную индексацию. Необходимо настроить 301 редирект с доменов зеркал на основной адрес сайта. Не стоит забывать, что зеркало может быть доступно по адресу с www и без www - нужно делать два полноценных редиректа с одного домена. Наличие цепочки редиректов - редирект на/без www, редирект на основной домен - будет воспринят негативно поисковой системой. Необходимо избегать цепочек редиректов.

Следует отметить, что для корректного переезда необходимо исключить из редиректа файл robots.txt, нужно добавить перед редиректом в .htaccess исключающую директиву. Правильный переезд:

Options +FollowSymLinks
RewriteEngine on
RewriteCond %{REQUEST_FILENAME} robots.txt$ [NC]
RewriteRule ^([^/]+) $1 [L]
RewriteCond %{HTTP_HOST} ^zerkalo\.com
RewriteRule ^(.*)$ http://glavniysite.ru/$1 [R=301,L]
RewriteCond %{HTTP_HOST} ^www.zerkalo\.com
RewriteRule ^(.*)$ http://glavniysite.ru/$1 [R=301,L]

Для более быстрого определения главного зеркала для поисковой системы Яндекс необходимо указывать директиву "Host:" в файле robots.txt. Домен там пишется без указания протокола соединения:

Host: mydomain.ru #основной домен без www 
Host: www.mydomain.ru #основной домен c www