Почему поиск видит заглушку вместо вашего сайта

Самый неприятный вид поломки: снаружи всё работает. Вы открываете сайт — он открывается. Заказчик открывает — открывается. А поисковые роботы вместо страниц получают короткую служебную страницу с запретом индексации.

Такое случается чаще, чем принято думать, и почти никогда не распознаётся по внешним признакам. Из админки сайт выглядит здоровым, в статистике есть посетители из рекламы, а из органического поиска переходов нет или почти нет. Владелец обычно решает, что «плохо оптимизировали», и начинает платить за контент и ссылки. Это деньги в никуда.

Как это устроено

На стороне хостинга, CDN или сервера защиты стоит фильтр. Он принимает запрос, решает, что посетитель похож на бота, и отдаёт ему вместо сайта проверочную страницу: маленький документ с надписью вида «проверяем ваш браузер», скриптом и запретом индексировать. Браузер посетителя выполняет скрипт, проверка проходит, страница перезагружается и человек видит нормальный сайт. Поисковый робот скрипты не выполняет — и остаётся с заглушкой.

Ловушка в том, что в заголовке заглушки обычно стоит запрет индексации. Поиск не просто не видит контент — он получает прямое указание не индексировать страницу.

Почему блокируются именно роботы

Фильтры настраивают двумя способами: по строке User-Agent и по диапазонам IP. Строка User-Agent — это просто текст в запросе, который подставляется кем угодно за секунду. Настроить защиту по ней означает пропускать всех, кто представился роботом, и блокировать тех, кто роботом не представился.

Хуже того, настройки часто оказываются неполными. Бывает так, что один поисковый робот получает нормальную страницу, а два других — заглушку. Тогда сайт индексируется в одной системе и отсутствует в двух, и это выглядит как загадка, а не как блокировка.

Как проверить у себя

1. Отправьте запрос к главной странице с обычным браузерным User-Agent и посмотрите размер ответа и содержимое.
2. Повторите то же самое с User-Agent Яндекса, Google и Bing.
3. Сравните ответы: если браузеру приходит страница сайта, а роботам — короткий документ с проверочным скриптом или с запретом индексации, причина найдена.
4. Отдельно запросите адрес карты сайта из robots.txt. Бывает, что страницы отдаются нормально, а карта — нет, или наоборот.
5. Проверьте ответы в панели вебмастера: сколько страниц в индексе, нет ли внезапного падения, читается ли карта.

Для корректной проверки нужны именно официальные диапазоны IP поисковых систем, а не только подставленная строка. Иначе вы проверите не то, что видит поиск.

Что делать

• Обратиться в поддержку хостинга или сервиса защиты с требованием добавить поисковых роботов в белый список по официальным диапазонам IP. Это единственное правильное решение: подделываемую строку User-Agent в белый список ставить нельзя.
• Проверить настройки сайта. Иногда причина не в защите, а в robots.txt, запрете в настройках CMS, лишнем редиректе или забытом закрытии сайта на время разработки — так сайт остаётся закрытым для поиска месяцами.
• После снятия блокировки отправить карту сайта в панели вебмастеров и запросить переобход ключевых страниц.
• Проверить индексацию через одну-две недели и убедиться, что страницы действительно появились.
• Только потом заниматься контентом, структурой и внешними факторами.

Коротко

Если сайт не показывается в поиске, но работает в браузере, начинать надо не с текстов и рекламы, а с одного вопроса: что именно отдаёт сервер поисковым роботам. Ответ на него занимает несколько минут и часто объясняет всё остальное.

С такой ситуацией я столкнулся на проекте сервисного центра по замкам. Разбор — в разделе проектов.