Если в поиске всплывают страницы входа, внутренние формы, результаты фильтров, служебные архивы или технические URL, их обычно не нужно продвигать. Задача не в том, чтобы спрятать весь сайт, а в том, чтобы не отдавать поисковикам страницы без самостоятельной ценности для пользователя. В WordPress это решается несколькими способами, и выбирать их нужно по типу страницы, а не по принципу «закрыть всё подряд».
Сразу важный момент: закрытие от индексации не всегда означает удаление страницы из поиска. Если URL уже попал в индекс, поисковику нужно время, чтобы переобойти его и убрать из выдачи. Поэтому сначала стоит понять, какие страницы действительно служебные, а какие просто выглядят «неважными», но нужны для SEO.
Какие страницы WordPress обычно стоит закрывать
Закрывать имеет смысл те URL, которые не должны ранжироваться сами по себе и не несут самостоятельной пользы в поиске. Типичный список выглядит так:
- страницы входа и восстановления пароля;
- страницы регистрации, личного кабинета, оформления заказа и похожие внутренние разделы, если они не должны быть в поиске;
- результаты поиска по сайту;
- страницы с параметрами фильтров и сортировки, если они создают множество почти одинаковых URL;
- технические архивы, которые не нужны посетителям: авторы, даты, теги, если они дублируют контент или не дают ценности;
- служебные страницы плагинов, которые открываются по отдельным URL и не предназначены для индексации.
При этом не стоит закрывать всё, что кажется «второстепенным». Например, архив рубрик может быть полезен для структуры сайта и внутренней перелинковки. Если он даёт уникальный контент и помогает пользователю, его лучше не прятать без причины.
Чем закрывать страницы от индексации в WordPress
Для разных ситуаций подходят разные инструменты. Самый частый выбор — мета-тег noindex, но он не единственный.
| Способ | Когда подходит | Что делает |
|---|---|---|
noindex | Страница должна открываться, но не попадать в индекс | Просит поисковик не добавлять URL в выдачу |
robots.txt | Нужно ограничить обход, а не индексацию уже известных URL | Запрещает роботу заходить по указанным путям |
HTTP-заголовок X-Robots-Tag | Для файлов и страниц, где удобнее управлять заголовком ответа | Передаёт указание поисковику на уровне ответа сервера |
На практике для обычных страниц WordPress чаще всего используют noindex. Это безопаснее, чем пытаться закрыть всё через robots.txt, потому что запрет в robots не гарантирует удаление URL из индекса, если поисковик уже знает адрес. Более того, если страница закрыта от обхода, поисковик может не увидеть на ней мета-тег noindex.
Самый простой способ: настроить noindex в SEO-плагине
Если на сайте уже стоит SEO-плагин, обычно проще всего закрывать служебные страницы через его настройки. Это удобнее, чем править шаблоны вручную, и меньше риск ошибиться.
Логика такая: для конкретного типа страниц отключаете индексацию, а при необходимости ещё и вывод в sitemap. Например, для архивов тегов, авторов, дат или страниц поиска. Названия пунктов зависят от плагина, но смысл везде одинаковый: запретить индексацию и, если нужно, исключить URL из карты сайта.
После изменения настроек проверьте исходный код страницы. В <head> должен появиться мета-тег вида <meta name="robots" content="noindex,follow"> или похожий вариант. Точное значение может отличаться, но ключевой признак один: присутствует noindex.
Как закрыть конкретную страницу вручную
Иногда нужно закрыть не весь тип страниц, а один конкретный URL: например, внутреннюю форму, страницу с временной акцией или тестовый раздел. В этом случае удобнее добавить мета-тег noindex точечно через код темы или дочерней темы.
Для одиночной страницы можно использовать условие по ID или шаблону. Ниже пример для functions.php дочерней темы: он добавляет noindex,follow на выбранной странице.
add_action('wp_head', function () {
if (is_page(123)) {
echo '<meta name="robots" content="noindex,follow">' . "\n";
}
});Здесь 123 нужно заменить на ID нужной страницы. Такой способ рабочий, но использовать его стоит только если вы понимаете, где именно он сработает. Ошибка в условии может закрыть не ту страницу, поэтому после правки обязательно проверьте исходный код и URL в браузере.
Если у вас есть доступ к серверным заголовкам и нужно закрыть не HTML-страницу, а, например, файл или нестандартный ответ, можно использовать X-Robots-Tag. Но для обычных страниц WordPress это редко нужно, и без необходимости лучше не усложнять конфигурацию.
Когда robots.txt помогает, а когда мешает
robots.txt полезен, когда нужно уменьшить лишний обход сайта: например, для технических путей, которые не должны активно сканироваться. Но это не замена noindex для страниц, которые уже известны поисковику.
Есть важное ограничение: если вы запретили обход в robots.txt, поисковик может не увидеть мета-тег noindex на самой странице. В результате URL может дольше оставаться в индексе или отображаться без сниппета. Поэтому для страниц, которые нужно именно убрать из поиска, сначала используйте noindex, а не только robots.
Через robots.txt имеет смысл закрывать только те пути, которые не должны сканироваться вообще, и при этом не требуют удаления уже проиндексированных URL. Это вспомогательный инструмент, а не основной способ убрать служебные страницы из выдачи.
Что делать с результатами фильтров и параметрами в URL
Фильтры и сортировка — частая причина мусора в индексе. Один и тот же товарный или архивный раздел может открываться с десятками вариантов параметров, и поисковик начинает считать их отдельными страницами. Если такие URL не несут уникального контента, их лучше не индексировать.
Здесь есть три рабочих подхода:
- оставить только каноническую страницу без параметров и на вариациях ставить
noindex; - закрыть от индексации страницы фильтров, если они не нужны в поиске;
- если фильтрованные страницы реально полезны и имеют уникальный спрос, не закрывать их автоматически, а отдельно оценить каждую группу URL.
Самая частая ошибка — закрывать все параметры подряд, не проверив, не создают ли они полезные посадочные страницы. Если фильтр даёт уникальную комбинацию товаров или материалов и по ней есть спрос, такой URL может быть полезен. Закрывать стоит только те параметры, которые плодят дубли и не дают самостоятельной ценности.
Как проверить, что страница действительно закрыта
После настройки не полагайтесь только на визуальную проверку в админке. Нужно посмотреть, что отдаёт сама страница.
Проверьте три вещи:
- В исходном коде есть
noindex. - Страница не попадает в XML-карту сайта, если вы сознательно исключили её из индексации.
- В Google Search Console или Яндекс Вебмастере URL не получает новых показов и со временем исчезает из индекса, если был там раньше.
Если страница всё ещё в поиске, это не всегда ошибка настройки. Поисковику нужно время на переобход. Для уже проиндексированных URL ускорить процесс можно через инструменты удаления в панели вебмастера, но это временная мера. Основное решение всё равно должно быть на стороне сайта: корректный noindex или другой подходящий способ.
Чего лучше не делать
Не закрывайте важные страницы сайта только потому, что они кажутся «вспомогательными». Если страница участвует в навигации, собирает трафик или помогает поисковику понять структуру сайта, её преждевременное закрытие может навредить.
Не используйте robots.txt как универсальный способ убрать URL из выдачи. Это частая ошибка: путь закрыт от обхода, но не от индексации, и проблема остаётся.
Не прячьте служебные страницы через JavaScript без понимания последствий. Если поисковик видит URL и может его открыть, такой способ не заменяет нормальное указание noindex.
И не забывайте про карту сайта: если вы закрыли страницу от индексации, но оставили её в sitemap, вы отправляете поисковику противоречивые сигналы. Для служебных URL это лишнее.
Если нужен практичный минимум, действуйте так: определите, какие URL действительно служебные; закройте их через noindex; уберите из sitemap; проверьте исходный код и статус в панели вебмастера. Этого достаточно для большинства сайтов на WordPress без лишних усложнений.