Правильная индексация большого сайта

Правильная индексация большого сайта

31.10.2016

Как правильно проиндексировать новый большой проект, чтобы получить максимально качественный эффект? Опубликовать сразу весь сайт или запускать его по частям?

C точки зрения продвижения необходимо как можно быстрее отдавать сайт на индексацию, чтобы страницы начали накапливать возраст и различные факторы для ранжирования. Не нужно выкладывать "сырой" сайт - функционально сайт должен быть полностью разработан, а страницы должны быть наполнены целевым контентом, а не текстовой заглушкой, например "Lorem Ipsum".

Полноценная индексация сайта

Перед первой индексацией необходимо тщательно проверить:

  • настройки зеркал сайта,
  • содержание файла robots.txt,
  • коды ответа сервера по типовым страницам,
  • наличие карты сайта в формате XML и также карта сайта в формате html,

В процессе индексации поисковый робот в автоматическом режиме будет сканировать сайт и определять их важность. После обхода сайта часть страниц будет добавлена в общую поисковую базу и страницы сайта начнут искаться в поиске.

Большие сайты сталкиваются здесь с проблемой - для новых сайтов существует ограничение на количество страниц в поиске. У нового сайта нет истории индексации и уровень доверия поисковой системы к нему достаточно низок. Поэтому необходимо провести работы по улучшению страниц сайта, чтобы они четко отвечали на запросы.

Для каждого сайта поисковой системой выделяется определенный краулинговый бюджет - это количество информации, которое поисковый робот может обойти за одно свое посещение. Для большого проекта может сложиться ситуация, когда в индексе постепенно появляются второстепенные страницы, а наиболее важные страницы разделов не добавляются в поиск. В такой ситуации необходимо на некоторое время закрыть какой-нибудь большой второстепенный раздел от индексации, чтобы наиболее важные страницы сайта были посещены роботом. Через некоторое время второстепенный раздел необходимо вновь открыть на индексацию.

Важность технической оптимизации

Правильная настройка технической оптимизации может существенно упростить дальнейшее продвижение проекта. При широком наборе функционала на сайте необходимо закрывать от индексации различные страницы - результаты поиска, сортировки, фильтры и т.п..

Архивные страницы и Google

Google опубликовал рекомендации для правильной индексации больших сайтов с архивными данными. Даже если контент уникален, то необходимо постепенно индексировать сайт поисковым роботом. В случае перехода робота в режим "бесконечной индексации" возможна ситуация наложения фильтра на некоторое время на сайт. В период действия фильтра сайт не будет активно индексироваться, пока фильтр не будет снят.