Архивы категорий и меток часто создают лишние страницы в индексе: пустые архивы, дубли с тонким контентом, страницы пагинации без ценности. При этом полностью отключать архивы таксономий обычно нельзя — они нужны для навигации, хлебных крошек и внутренней структуры сайта. Поэтому задача не в том, чтобы «удалить категории», а в том, чтобы точечно закрыть от индексации те архивы, которые реально не должны ранжироваться.
Ниже — рабочая схема: сначала быстро диагностируем, что именно попало в индекс, потом выбираем способ закрытия через SEO-плагин или код, а затем проверяем, что WordPress и поисковые роботы видят нужные сигналы.
Когда архивы таксономий нужно закрывать от индексации
Не все архивы одинаково вредны. Категория с нормальным текстом, полезной подборкой материалов и стабильным трафиком может быть полноценной посадочной страницей. А вот метки, служебные рубрики, архивы с одним-двумя записями или страницы пагинации часто только размывают качество индекса.
Типичные сценарии
- в индексе много страниц меток, но на них почти нет уникального контента;
- категории дублируют друг друга по смыслу;
- архивы пустые или почти пустые;
- страницы пагинации категорий не дают дополнительной ценности;
- архивы создаются автоматически плагинами и не используются как посадочные страницы.
Если архив нужен только как навигационный элемент, а не как точка входа из поиска, его обычно имеет смысл закрыть от индексации и оставить доступным для переходов по сайту.
Диагностика проблемы: что именно индексируется
Перед правкой проверьте, какие архивы уже попали в поиск. Самый простой способ — поиск по оператору site: и просмотр отчётов в Google Search Console. Если у вас есть доступ к серверным логам, полезно посмотреть, какие архивы чаще всего сканируются ботом, но для большинства задач достаточно Search Console и ручной проверки URL.
На что смотреть в первую очередь
- страницы категорий и меток в индексе;
- пагинацию архивов, например
/category/news/page/2/; - дубли архивов с одинаковыми заголовками и описаниями;
- наличие или отсутствие уникального текста на странице архива;
- мета-теги
noindex, если они уже были настроены раньше.
Если архив уже закрыт в robots.txt, это не то же самое, что noindex. Запрет в robots может помешать роботу увидеть мета-тег на странице, и тогда URL может продолжать висеть в индексе дольше, чем ожидается. Для удаления из индекса обычно надёжнее использовать именно noindex, а не только блокировку обхода.
Как закрыть архивы таксономий через SEO-плагин
Если на сайте уже используется SEO-плагин, это самый безопасный путь. В популярных плагинах можно отдельно настроить индексацию категорий, меток и других таксономий. Логика обычно одна: для нужной таксономии отключаете индексирование, а плагин сам добавляет noindex и корректный canonical.
Плюс этого подхода в том, что вы не трогаете тему и не завязываетесь на кастомный код. Минус — настройки могут быть разнесены по нескольким разделам, и легко забыть про архивы пагинации или отдельные таксономии, созданные плагинами.
| Подход | Когда подходит | Компромисс |
|---|---|---|
| SEO-плагин | Нужно быстро закрыть категории/метки без кода | Зависимость от интерфейса и настроек плагина |
| Код в теме или mu-plugin | Нужны точечные правила для конкретных таксономий | Нужно аккуратно тестировать после обновлений |
| robots.txt | Только ограничить обход, не индексацию | Не решает задачу удаления URL из индекса |
Если на сайте уже стоит Clearfy Pro, в нём удобно отключать индексацию архивов и дубликатов в одном месте. Это не обязательное решение, но для типовых технических задач оно экономит время. Ссылка на плагин: Clearfy Pro.
Пошаговое решение через код: закрываем метки и служебные категории
Если вам нужно не глобальное правило, а точечная настройка, лучше добавить фильтр в functions.php дочерней темы или, что надёжнее, в небольшой mu-plugin. Так вы не потеряете настройку при смене темы.
Ниже пример, который добавляет noindex,follow для архивов меток и для выбранной категории. Логику можно расширить под свои таксономии.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_tag() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
if ( is_category( 'news' ) ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Этот вариант работает на уровне WordPress и не зависит от конкретного SEO-плагина. Но есть важный нюанс: если плагин тоже управляет robots-мета, проверьте, не конфликтуют ли правила. В идеале должен быть один источник истины.
Если нужно закрыть несколько таксономий
Когда на сайте есть собственные таксономии, удобнее перечислить их явно. Так вы не закроете лишнее и не сломаете полезные архивы.
<?php
add_filter( 'wp_robots', function( array $robots ) {
$blocked_taxonomies = array( 'post_tag', 'faq_topic', 'service_group' );
if ( is_tax( $blocked_taxonomies ) ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Если вы хотите закрывать только отдельные термины, а не всю таксономию, используйте проверку через is_tax() с конкретным slug термина или отдельную логику через get_queried_object(). Главное — не закрывать всё подряд без анализа, иначе можно случайно убрать из поиска полезные посадочные страницы.
Что делать с пагинацией архивов
Пагинация — отдельный случай. Для больших архивов страницы /page/2/, /page/3/ и дальше часто не нужны в индексе, если они не несут самостоятельной ценности. При этом сами архивы категорий могут оставаться открытыми.
Технически это решается либо настройками SEO-плагина, либо тем же фильтром wp_robots с проверкой пагинации. Но тут важно не переборщить: если у вас на второй странице архива есть товары, статьи или записи, которые реально ищут, закрытие может ухудшить обнаружение контента.
Практический ориентир простой: если пагинация нужна только для просмотра внутри сайта, а не как отдельная точка входа из поиска, её обычно закрывают от индексации. Если же страницы пагинации содержат уникальные подборки и стабильно получают трафик, сначала проверьте аналитику, а уже потом меняйте правила.
Проверка результата после внедрения
После настройки не ограничивайтесь визуальной проверкой страницы в браузере. Нужно убедиться, что WordPress действительно отдаёт правильные сигналы для роботов.
Чек-лист проверки
- откройте архив категории или метки и проверьте исходный код страницы;
- найдите строку с
meta name="robots"или эквивалентный HTTP/HTML-сигнал; - убедитесь, что стоит
noindex, а не толькоnofollow; - проверьте, что ссылки внутри архива по-прежнему доступны для обхода;
- в Search Console отправьте URL на повторную проверку, если страница уже была в индексе;
- посмотрите, не остались ли старые правила в кэше страницы или CDN.
Если у вас включён серверный или плагинный кэш, после изменения robots-мета обязательно очистите кэш. Иначе вы можете смотреть на старую версию HTML и делать неверные выводы.
Как быстро проверить через браузер
Откройте исходный код страницы и найдите robots-мета. Если используете терминал, можно проверить ответ сервера командой curl и посмотреть, не подменяется ли заголовок или HTML кэшем.
curl -I https://example.com/category/news/Для более точной проверки откройте сам HTML и найдите robots-мета в ответе. Это полезно, когда нужно понять, не вмешивается ли в разметку другой плагин.
Частые ошибки и как их исправить
Самая частая ошибка — закрыть архив в robots.txt и считать задачу решённой. Для индексации это ненадёжно: URL может остаться в поиске, а робот не увидит нужный мета-тег. Если цель именно убрать страницу из индекса, используйте noindex.
Вторая ошибка — одновременно настраивать robots в SEO-плагине, в теме и через отдельный сниппет. В результате на странице может оказаться конфликтующая комбинация правил. Исправление простое: оставьте один источник настройки и удалите дублирующие фрагменты кода.
Третья проблема — закрыть архивы, которые реально работают как посадочные страницы. Это часто случается с категориями, где уже есть текст, фильтры и органический трафик. Перед изменением проверьте статистику по URL и не трогайте страницы, которые приносят переходы из поиска.
Четвёртая ошибка — забыть про кэш. После правки код есть, но в браузере или у робота ещё отдаётся старая версия страницы. Если используете кэш-плагин, CDN или серверный кэш, очищайте их в правильном порядке: сначала сервер/плагин, потом CDN, потом проверка в браузере.
Безопасность и производительность: что учесть
С точки зрения производительности сама директива noindex почти ничего не меняет. Но если вы закрываете много архивов, имеет смысл проверить, не создают ли они лишнюю нагрузку на генерацию страниц, хлебных крошек и связанных блоков. Иногда проблема не в индексации, а в том, что архивы генерируются слишком тяжело.
Для безопасности важнее другое: не вставляйте такие правки напрямую в родительскую тему. После обновления они пропадут. Если не хотите создавать отдельный mu-plugin, используйте дочернюю тему и храните сниппеты в одном месте. Это проще сопровождать и легче откатывать.
Если на сайте много технических правок по SEO и чистке дублей, удобнее держать их централизованно, а не разносить по файлам темы. В таких сценариях помогает один плагин с понятными настройками, чем набор разрозненных сниппетов, которые сложно аудитить через полгода.
Для похожих задач по дублям, архивам и технической чистке сайта можно также посмотреть инструменты WPShop, если вам нужен единый набор настроек: Clearfy Pro.
