Оптовый поставщик удобрений: описания товаров, которых поиск не видит

Сайт с хорошим ассортиментом и живой выдачей. Но описания товаров на сайте закрыты тегом, который Яндекс понимает буквально: «этот блок не индексировать». Плюс четверть категорий отличаются друг от друга только названием и порядком товаров.

Ситуация

Оптовые поставки удобрений, средств защиты и садовой техники: продажи идут агрономам, тепличным хозяйствам и питомникам, то есть людям, которые ищут по конкретным препаратам и культурам. Каталог небольшой по числу разделов, но с большим ассортиментом и подробными карточками товаров.

Что нашлось

• Описания товаров закрыты от индексации. Блок с описанием на трёх с половиной сотнях карточек — это почти семьдесят тысяч слов сопроводительного текста — помечен тегом, который Яндекс трактует как запрет индексировать содержимое. То есть весь этот текст поиск не читает: карточки разных товаров для него неотличимы.
• Больше сотни описаний совпадают дословно. Одинаковые блоки стоят на десятках карточек одного типа — у опор, сеток, горшков и прочей вспомогательной позиции. Даже если снять запрет индексации, уникальности там не появится.
• Четверть категорий — двойники. Двадцать пять категорий из шестидесяти девяти показывают ровно тот же список товаров, что и соседняя: девять «овощных» разделов выводят одни и те же тридцать два товара, восемь «цветочных» — пятьдесят. Найдены пары категорий, у которых из почти пяти тысяч фраз различаются полтора десятка. Больше ста восьмидесяти пар совпадают больше чем на 70%.
• Технические мелочи: на главной нет главного заголовка, у одного из разделов заголовок собран из названия и служебного слова на латинице, сотни заголовков длиннее разумного, страницы пагинации выставлены каноническими на себя, забытая демонстрационная страница системы индексируется, в правилах для роботов закрыт целый формат изображений, а главная весит три с половиной мегабайта.
• Что было в порядке: все адреса отвечают, роботы не заблокированы, страница-сирота одна, разметка и канонические адреса валидны, карта обновляется.

Как это проверяется

Сравниваются списки товаров в категориях: если набор позиций совпадает полностью, категория — не раздел, а дубль. Отдельно проверяется, что search-робот действительно читает: сравниваются ответы по разным агентам и разбирается, не закрыт ли текст тегами или правилами. Тег запрета индексации в теле страницы видно только при разборе HTML — из браузера и админки он не заметен.

Это самый коварный тип ошибки из встречавшихся: ни в одном отчёте системы управления сайтом она не показывается. Внешне всё работает — страницы открываются, товары на месте, тексты написаны. Просто их не существует для поиска.

Что сделано

• Обойдены все адреса сайта и сверены карта и внутренние ссылки.
• Сопоставлены списки товаров по категориям: найдены двадцать пять двойников и сто восемьдесят шесть похожих пар.
• Найден запрет индексации на описаниях товаров и посчитан объём текста, который из-за него не работает.
• Собрана статистика по дублям описаний: сколько карточек делят один и тот же текст.
• Составлен план: сначала снять запрет индексации и переписать описания-дубли, затем объединить категории-двойники и переписать оставшиеся, потом мелочи — заголовки, вес страниц, правила для роботов.

Что это показывает

Текст на сайте и текст, который видит поиск, — не одно и то же. Запрет индексации, поставленный в шаблоне карточки однажды, тихо выключает весь контент раздела: страницы живут, продажи идут, а в поиске вместо десятков различных товаров остаётся одна безликая карточка. Такие вещи не находятся при беглом осмотре — только разбором того, что реально отдаётся роботу.