Как закрыть от индексации теговые страницы page в WordPress без потери SEO

Теговые страницы вида /tag/page/2/ или похожие архивы пагинации часто попадают в индекс вместе с основными архивами тегов. На небольшом сайте это незаметно, но на проектах с активной публикацией такие URL начинают раздувать индекс, создавать дубли и тянуть краулинговый бюджет на страницы, которые не дают трафика.

Проблема обычно не в самих тегах, а в том, как WordPress и SEO-плагин отдают пагинацию архивов: страница /tag/news/ полезна, а /tag/news/page/3/ уже часто не нужна в поиске. Ниже — как понять, что именно у вас индексируется, и что лучше сделать: закрыть через noindex, убрать из sitemap или ограничиться robots.txt.

Когда это действительно проблема

Не все теговые страницы пагинации надо закрывать. Если у вас теговые архивы собирают стабильный трафик и на второй-третьей странице есть уникальные материалы, закрытие может навредить. Но если в индексе сидят десятки или сотни URL вида /tag/.../page/2/, /page/3/, /page/4/, а в Search Console они отмечены как «Просканировано, но не проиндексировано» или просто висят без кликов, это уже кандидат на чистку.

Диагностика: что проверить до изменений

• Откройте в Search Console отчет по страницам и отфильтруйте URL с /tag/ и /page/.
• Проверьте исходный код тегового архива: есть ли noindex, canonical и не ссылается ли canonical на саму пагинацию.
• Посмотрите XML sitemap: попадают ли туда пагинированные архивы тегов.
• Сравните поведение на главной странице тега и на страницах пагинации: есть ли там уникальный контент или только список записей.

Если страницы пагинации уже в индексе, просто закрыть их в robots.txt недостаточно. Поисковик может продолжать держать их в индексе без переобхода. Для таких случаев нужен noindex или корректная настройка SEO-плагина.

Что лучше: плагин, код или robots.txt

Если задача точечная, я бы начинал с кода или настроек SEO-плагина. robots.txt оставляйте как дополнительный слой, а не как единственный механизм.

Пошаговое решение через код

Ниже пример, который добавляет noindex,follow только для пагинированных архивов тегов. Логика безопасная: обычные страницы тегов не трогаем, закрываем только страницы глубже первой.

<?php
add_filter('wp_robots', function (array $robots) {
    if (is_tag() && is_paged()) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
});

Этот вариант работает в современных версиях WordPress, где используется фильтр wp_robots. Если у вас SEO-плагин уже управляет robots meta, проверьте, не перетирает ли он этот вывод своими настройками.

Если нужно закрыть только конкретный тег

Иногда закрывать все теговые пагинации не хочется. Например, один тег собирает полезный трафик, а остальные — мусорные. Тогда можно сузить условие до конкретного slug:

<?php
add_filter('wp_robots', function (array $robots) {
    if (is_tag('news') && is_paged()) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
});

Если используете дочернюю тему, такой код можно положить в functions.php. Для более живучего решения лучше сделать маленький mu-plugin, чтобы настройка не слетела при обновлении темы.

Как убрать пагинацию тегов из sitemap

Даже если страницы закрыты от индексации, их не всегда стоит оставлять в sitemap. Поисковик будет тратить время на обход URL, которые вы сами считаете второстепенными. В Yoast SEO и Rank Math это обычно настраивается в интерфейсе, но если нужен контроль на уровне кода, можно исключить архивы из генерации только для конкретной логики плагина — здесь уже лучше идти через настройки, а не ломать внутренние фильтры без необходимости.

Практически полезный ориентир: если страница не должна ранжироваться и не несет самостоятельной ценности, ей не место в sitemap. Если же это важная посадочная, закрывать ее только потому, что это архив, не стоит.

Проверка результата после внедрения

После изменения не ограничивайтесь просмотром HTML в браузере. Проверьте три вещи: robots meta, sitemap и статус в Search Console.

1. Откройте страницу /tag/slug/page/2/ и посмотрите исходный код.
2. Убедитесь, что в <meta name="robots"> или эквивалентном выводе есть noindex.
3. Проверьте, что canonical не указывает на случайный URL и не создает новую ошибку.
4. Отправьте страницу на повторную проверку в Search Console, если она уже была в индексе.

Если у вас есть доступ к серверным логам или аналитике краулинга, посмотрите, перестали ли боты активно ходить по пагинации тегов. Это хороший косвенный признак, что настройка не только записалась в код, но и реально начала работать.

Частые ошибки и как их исправить

Закрыли в robots.txt и ждете удаления из индекса

Это самая частая ошибка. Disallow ограничивает обход, но не гарантирует выпадение URL из индекса. Если страница уже там, нужен noindex или удаление через инструменты поисковика.

Ставят noindex на все архивы тегов без разбора

Так можно случайно убить полезные страницы, которые реально собирают трафик. Сначала посмотрите статистику по конкретным тегам, потом принимайте решение. Универсальная зачистка без анализа здесь часто хуже самой проблемы.

Конфликт с SEO-плагином

Если Yoast SEO или Rank Math уже управляет robots meta, ваш фильтр может не сработать так, как ожидается. В этом случае либо настраивайте правило внутри плагина, либо отключайте дублирующую логику в коде. Два источника правды для robots meta — плохая идея.

Закрыли пагинацию, но оставили ее в sitemap

Это не критическая ошибка, но лишний шум для обхода. После закрытия проверьте карту сайта и уберите оттуда URL, которые не должны индексироваться.

Практические советы по безопасности и производительности

Если вы вносите правки через functions.php, делайте это в дочерней теме или через mu-plugin. Так вы не потеряете настройку после обновления шаблона. Перед изменениями сохраните резервную копию и проверьте, нет ли на сайте кастомной логики, которая добавляет свои robots meta через wp_head.

Для сайтов с большим количеством архивов полезно держать под контролем не только индексацию, но и генерацию лишних страниц. Иногда проблема решается не закрытием от индексации, а пересборкой структуры тегов: удалением мусорных тегов, объединением дублей и ограничением автоматической генерации архивов.

Если вам нужен более широкий набор инструментов для технической чистки WordPress — от дублей до служебных страниц и SEO-настроек — посмотрите Clearfy Pro: https://wpshop.ru/plugins/clearfy. Но даже с плагином полезно понимать, какое правило вы включаете и зачем.

Короткий чек-лист перед публикацией

• Проверили, что проблема касается именно пагинации тегов, а не всех архивов подряд.
• Убедились, что нужные теговые страницы не теряют трафик после закрытия.
• Добавили noindex,follow только там, где это действительно нужно.
• Проверили исходный код, canonical и sitemap.
• Отправили важные URL на переобход в Search Console.

Если после внедрения в индексе остались старые URL, это нормально: поисковику нужно время на переобход. Важнее, чтобы новые страницы пагинации больше не попадали в индекс и не раздували технический хвост сайта.