Сервисный центр по замкам: сайт работал, поиск его не видел

Классический случай, который не видно ни из админки, ни из Метрики: сайт открывается у людей, а Яндекс и Google получают вместо страниц заглушку.

Ситуация

Действующий сервисный центр по замкам и дверным цилиндрам: WordPress, нормальные адреса, HTTPS, заполненные услуги и цены. Реклама работает, посетители приходят, звонки есть. Но из органического поиска переходов почти нет — при том, что по своим коммерческим запросам компания должна быть видна.

Что нашлось

• Роботам отдаётся страница-заглушка. Защита на стороне хостинга реагировала на посещение и отдавала проверку браузера — короткую страницу с запретом индексации. Человек проходил проверку и видел сайт, поисковый робот — нет.
• Заглушку получали и Яндекс, и Google. При этом один из роботов получал настоящую страницу. Из-за этого сайт был в поиске одной системы и почти отсутствовал в двух других — и это выглядело как «плохое SEO», а не как блокировка.
• Карта сайта тоже не отдавалась. Файл, который сайт сам объявлял в robots.txt, роботам Яндекса и Google возвращался в виде той же заглушки вместо XML. То есть поиск не мог получить даже список страниц.
• Вторичные проблемы: слишком длинное описание главной страницы, которое обрезается в выдаче, и почти полное отсутствие внешних ссылок — упоминания только в одном справочнике и на мусорной площадке.

Как это проверяется

Внешне по сайту этого не увидеть: из браузера всё работает. Проверка делается запросами к серверу с разными User-Agent — как браузером, как поисковыми роботами — и сравнением ответов: размер, содержимое, наличие запрета индексации. Разница в ответах и есть диагноз.

Важный момент: проверять надо по официальным диапазонам IP, а не только по User-Agent. Строка User-Agent подделывается тривиально, поэтому защита «по имени робота» — это защита от честных роботов и никакая защита от нечестных.

Что сделано

• Проверены ответы сервера для всех четырёх роботов и обычного браузера, зафиксированы размеры и содержимое ответов.
• Настроена проверка доступности карты сайта отдельно от страниц.
• Подготовлено обращение в поддержку хостинга с требованием добавить поисковых роботов в белый список по официальным диапазонам IP.
• Составлен план работ на после снятия блокировки: переобход страниц, отправка карты в панели вебмастеров, переписывание описаний, работа с локальной выдачей и отзывами.

Что это показывает

Пока сайт закрыт для роботов, любые вложения в SEO и контент не работают: нечему индексироваться. Это не гипотеза, а причина, по которой в подобных случаях бессмысленно сначала покупать ссылки и переписывать тексты. Порядок всегда один: сначала доступ для роботов, потом всё остальное.