Сезонный интернет-магазин: карта сайта рассыпается в самый сезон

Спрос приходит залпом и живёт два месяца в году. Именно в это окно поиск должен идеально понимать, что и где у вас лежит — а карта сайта вёл сотни адресов не туда, куда ведут сами страницы.

Ситуация

Магазин на 1С-Битрикс с выраженной сезонностью: спрос сконцентрирован в несколько недель, и в это время сайт должен показываться максимально широко. Каталог большой — около тысячи адресов: товары, категории, статьи и новости.

Что нашлось

• Карту сайта собирал не сайт, а посторонний краулер. Файл был сформирован внешней программой обхода, а не системой управления сайтом. Отсюда две беды сразу: адреса в карте — те, которые краулер сумел найти, и дата обновления у всех одна, одинаковая для сотен страниц.
• Часть адресов в карте ведёт на редиректы. Десятки адресов отличаются от настоящих страниц только регистром букв: вместо страницы они отдают перенаправление. Для поиска это лишние адреса в карте и признак небрежности, а не структура.
• Десятки рабочих страниц в карту не попали вообще — в том числе категории каталога, статьи и новости. Эти страницы могут быть полезны и получать трафик, но о них поиск из карты не знает.
• Значительная часть страниц была без указания канонического адреса, а на одной из ключевых категорий канонический адрес вёл вообще на главную страницу — то есть сайт сам сообщал поиску «эта страница — копия главной».
• Группа категорий с полностью одинаковыми заголовками, описаниями и подзаголовками. Различались только картинки и позиции товаров: каждая такая страница бесполезна и для человека, и для поиска.
• Что было в порядке: роботам ничего не мешало, разметка товаров и хлебных крошек валидна, канонические адреса у большинства товаров верные, текстов на сайте достаточно. По технической части этот сайт — лучший из четырёх, что я разбирал подряд.

Как это проверяется

Обход всей карты сайта с замером ответа каждого адреса: сколько отдают 200, сколько редирект, сколько ошибка. Затем отдельный обход по внутренним ссылкам — он показывает страницы, которых в карте нет. Сверка двух списков и есть ответ, что теряется.

Отдельно сравнивается канонический адрес каждой страницы с адресом, по которому она реально открывается. Расхождение на массовых разделах — одна из самых дорогих ошибок: раздел выглядит для поиска пустым, хотя товары на месте.

Что сделано

• Обойдена вся карта: зафиксированы адреса, отдающие редирект, и адреса с ошибкой.
• Собран отдельный список рабочих страниц, которых в карте нет, с разбивкой по типам: категории, статьи, новости.
• Проверены канонические адреса у всех типов страниц; найдена категория, отправляющая поиск на главную.
• Найдена группа категорий с совпадающими заголовками и описаниями.
• Составлен план: перевести карту на генерацию средствами системы управления, починить канонические адреса, добавить пропущенные страницы, переписать мета у схожих категорий или объединить их.

Что это показывает

Карта сайта — не формальность для панели вебмастера, а способ сказать поиску «вот что у меня есть». Если её собирает сторонняя программа, она описывает не сайт, а то, что нашёл краулер в момент запуска: без новых страниц, с редиректами и с одинаковой датой у всего. В сезонном бизнесе это стоит недель, которых потом не вернуть.