Страницы-зомби: удаление мусорного индекса для роста позиций

Поисковая система оценивает сайт целиком, и каждая бесполезная проиндексированная страница снижает его среднее качество. Страницы-зомби — это URL, которые живут в индексе годами, не приносят ни показов, ни переходов, но продолжают съедать краулинговый бюджет и размывать релевантность разделов. Их чистка — одна из самых недооценённых процедур в SEO: она бесплатна, требует одного вечера и по опыту даёт эффект на уже зрелых сайтах быстрее, чем написание новых статей.

Как зомби тянут сайт вниз

Механика простая. Краулинг-бюджет — не бесконечен: робот тратит лимит обхода на весь сайт, и пока он ползает по мёртвым URL, до живых и обновлённых страниц очередь доходит позже. Вторая проблема — сигналы качества: когда заметная доля проиндексированных страниц не имеет показов, средний CTR и «польза» сайта в целом падают, и это давление распространяется на соседние страницы. У Google эта идея формализована в рекомендациях о создании полезного контента, где прямо указано, что качество оценивается по всему сайту, а не по отдельным URL — Google прямо описывает это в руководстве о полезном контенте (Creating helpful, people-first content).

Отдельный риск — самоканнибализация и мусорные выдачи: старые дубли одной услуги с разными ценами, страницы фильтров, «печатные версии» и черновики. Пользователь попадает на неактуальный вариант, конверсия теряется, а правильная страница оказывается под конкурентной нагрузкой собственной же устаревшей копии.

Шаг 1. Соберите полный список URL

Три источника дают надёжное пересечение. Первый — sitemap.xml: он показывает, что сайт сам считает контентом. Второй — панель вебмастера: в Яндекс.Вебмастере раздел «Страницы в поиске», в Google Search Console — отчёт «Индексирование страниц» (отфильтруйте статус «Создано, не проиндексировано» — это отдельно интересная группа слабых страниц). Третий — обход по ссылке из карты сайта с помощью любого краулера или команды по списку, чтобы найти страницы, которые есть в шаблоне, но не в sitemap.

Сведите всё в одну таблицу: URL, раздел, дата последнего изменения. Для небольшого сайта это десятки и сотни строк, для портала — тысячи; в последнем случае работайте по разделам, начиная с самых старых.

Шаг 2. Пометьте живых и мёртвых

Теперь каждой строке нужны три флага: трафик за последние 90 дней (из Вебмастера или Метрики), внешние ссылки (хотя бы грубая проверка по базе линков) и есть ли у страницы конверсии или полезная функция. Кандидаты в зомби — строки с нулём по всем трём пунктам.

Важная граница: зомби — это «мёртвый URL», но не «слабая статья». Если тема востребована, а страница просто устарела — она не удаляется, а перерабатывается: обновить цифры, объединить несколько коротких заметок в одну сильную, закрыть вопрос целиком. Об объединении старого контента Google Search Central пишет прямо: сведение нескольких слабых страниц в одну сильную — штатный приём, а не костыль (см. разбор консолидации контента в блоге Search Central).

Шаг 3. Выберите путь для каждого зомби

Удаление (404/410). Страница не нужна никому — снят товар, закрыт регион, черновик. Удаляйте файл с сервера; код 410 («Gone») вежливее 404: робот быстрее исключает URL из индекса. Не оставляйте страницу в sitemap.xml и не ссылайтесь на неё из навигации.

301-редирект. У URL есть внешние ссылки или реальный трафик — вес и посетителей нужно передать наследнику. Редирект ставится на ближайшую по смыслу живую страницу: услуга «продвижение в Яндексе» — на страницу комплексного продвижения, а не на главную по умолчанию. Цепочек из двух редиректов подряд не оставляйте — каждая лишняя ступень теряет часть веса и замедляет обход.

noindex. Страница нужна пользователю, но не поиску: корзина, сравнение товаров, служебные выдачи. Мета-тег noindex, follow в голове страницы или заголовок X-Robots-Tag закрывают её от индексации, сохраняя работоспособность. Техническую сторону — что закрывать в robots.txt и как это соотносится с noindex — мы разбирали в статье о sitemap.xml и robots.txt.

Доработка. Строка попала в кандидаты по ошибке — тема живая. Поставьте ей план: обновить материал, проверить заголовок и description, добавить внутренние ссылки. Дальше она живёт как обычная страница.

Шаг 4. Аккуратно выполните чистку

Удаление — необратимая операция, поэтому перед ней сделайте два шага страховки. Первый: сохраните копии удаляемых файлов и таблицу с решениями — это ваша защита от «верни как было». Второй: удаляйте частями. Один раздел или 20–50 страниц за раз, затем 10–14 дней наблюдения. Так деградация, если вдруг что-то пошло не так, будет точечно, а не по всему сайту.

После каждой партии: пересоберите sitemap.xml, отправьте его на переобход (в Яндекс.Вебмастере — «Переобход страниц», в Search Console — валидация и запрос индексирования) и просмотрите ошибки сканирования. Сторонние ссылки на удалённые URL, которые вы контролируете — в меню, статьях, соцсетях — поправьте на живые цели; битые внутренние ссылки вымывают вес и портят обход.

Шаг 5. Проверьте результат

Через две-три недели сверьте цифры: число проиндексированных страниц в «Страницы в поиске» должно снизиться, а доля «Создано, не проиндексировано» — упасть. Дальше смотрите на живой эффект: средние позиции живых страниц по кластерам (в Вебмастере «Поисковые запросы»), кликабельность и конверсии. Рост обычно наступает не мгновенно, а после переиндексации — это нормально.

И проверьте, что чистка не отняла ничего нужного: узкие запросы, по которым страница всё-таки показывалась, должны быть перенесены на наследников. Связка «sitemap + Вебмастер + периодическая вычитка» — это и есть штатная профилактика мусорного индекса, без сторонних сервисов.

Чего чистка не делает

Честно о границах: удаление зомби не создаёт новый контент и не исправит слабую структуру живых страниц. Если сайт маленький (десяток страниц), выигрыш от чистки тоже небольшой — там лучше вкладываться в новые материалы. Но на зрелом сайте, который рос годами, чистка индекса возвращает роботу и поиску фокус на том, что действительно ценно. Чтобы понять, где именно сайт слаб против конкурентов, начните с анализа трафика конкурентов — он покажет, на какие страницы стоит перенаправить освободившиеся силы.

Итог

Страницы-зомби — это кладбище внутри вашего же сайта, и робот ходит по нему регулярно. Один вечер на сбор списка, таблица с флагами трафика и ссылок, четыре пути решения — доработать, склеить, закрыть, удалить — и повторный проход каждые пару месяцев. Мусорный индекс истощается, живые страницы получают больше краулинга и более честную оценку качества сайта целиком.