Как настроить robots.txt для WordPress

Файл robots.txt в WordPress нужен не для «ускорения индексации», а для управления тем, что поисковые роботы могут и не могут обходить на сайте. Ошибка здесь обычно одна и та же: в файл добавляют слишком жёсткие запреты и случайно закрывают важные страницы, а потом удивляются, почему они не появляются в поиске или индексируются хуже, чем ожидалось.

Если коротко: в robots.txt стоит закрывать только то, что действительно не должно тратить краулинговый бюджет и не несёт пользы в поиске. Всё, что должно ранжироваться, лучше не трогать. А если нужно убрать страницу из индекса, robots.txt для этого не подходит — он лишь ограничивает обход, но не гарантирует удаление из выдачи.

Что делает robots.txt в WordPress и чего он не умеет

robots.txt — это текстовый файл в корне сайта, например https://site.ru/robots.txt. Поисковые роботы читают его перед обходом страниц и смотрят, какие разделы можно запрашивать, а какие лучше пропустить.

Для WordPress это особенно полезно, потому что на сайте есть служебные URL, которые не нужны в поиске: служебные страницы, внутренние параметры, некоторые архивы и технические пути. Но важно понимать границу:

• robots.txt управляет обходом, а не индексацией как таковой;
• если URL уже известен поисковику, запрет в robots.txt не всегда уберёт его из выдачи;
• закрытая в robots.txt страница может остаться в индексе без возможности переобхода, если на неё уже есть ссылки;
• файл не заменяет мета-теги noindex и не решает задачи удаления контента из поиска.

Именно поэтому настраивать его нужно аккуратно: не по принципу «закрою всё лишнее», а по принципу «оставлю доступ только там, где он нужен для нормальной работы сайта и поискового обхода».

Что обычно можно закрыть без риска

На большинстве сайтов WordPress в robots.txt имеет смысл ограничить обход служебных и бесполезных для поиска разделов. Речь не о том, чтобы спрятать контент, а о том, чтобы не тратить обход на технические URL.

Чаще всего закрывают:

• /wp-admin/ — административную часть сайта;
• /wp-login.php — страницу входа;
• служебные параметры и внутренние скрипты, если они создают мусорные URL;
• поисковые результаты сайта, если они доступны по отдельным URL и не нужны в выдаче;
• страницы, которые дублируют основной контент и не должны обходиться роботами.

При этом не стоит закрывать всё подряд внутри /wp-content/. В этой папке лежат изображения, стили, скрипты и загрузки медиа. Если запретить её целиком, поисковики могут хуже понимать и рендерить страницы, а иногда это мешает нормальной обработке контента.

Отдельно стоит сказать про архивы и таксономии. Если на сайте есть рубрики, метки, архивы автора или даты, их не нужно автоматически закрывать только потому, что они «похожи на дубли». Иногда они полезны для структуры сайта и внутренней перелинковки. Закрывать такие разделы стоит только после проверки, действительно ли они не несут ценности и не нужны в поиске.

Что лучше не закрывать в robots.txt

Самая частая ошибка — запретить в robots.txt то, что должно индексироваться и участвовать в ранжировании. После этого страницы могут выпадать из обхода, а поисковик перестаёт видеть обновления.

Не стоит закрывать:

• основные страницы сайта;
• записи и страницы, которые должны ранжироваться;
• изображения и медиафайлы, если они важны для поиска по картинкам или помогают понимать контент;
• CSS и JavaScript, если они нужны для корректного отображения страницы поисковыми системами;
• весь каталог /wp-content/ целиком.

Если закрыть ресурсы, которые нужны для рендеринга, поисковик может увидеть страницу не так, как видит её пользователь. Это особенно заметно на темах, где важна динамическая подгрузка контента, адаптивная верстка или визуальные блоки, завязанные на скрипты.

Ещё один важный момент: не используйте robots.txt как способ скрыть конфиденциальную информацию. Если файл доступен в браузере, его содержимое видно всем. Он не предназначен для защиты данных.

Базовый robots.txt для WordPress

Если на сайте нет особых технических ограничений, можно начать с аккуратного базового варианта. Он не закрывает ничего лишнего и при этом убирает очевидные служебные пути.

Перед заменой файла сделайте копию текущего robots.txt, если он уже есть. Это простой шаг, но он спасает, когда на сайте уже были ручные правки или настройки плагина.

Пример безопасного минимального файла:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php

Что здесь происходит:

• User-agent: * — правило для всех роботов;
• Disallow: /wp-admin/ — закрывает административный раздел;
• Allow: /wp-admin/admin-ajax.php — оставляет доступ к AJAX-обработчику, который часто нужен теме и плагинам;
• Disallow: /wp-login.php — ограничивает обход страницы входа.

Этот вариант подходит как стартовая точка. Дальше его можно дополнять только по реальной необходимости, а не по шаблону из интернета.

Как правильно добавить свои правила

Если на сайте есть разделы, которые действительно нужно ограничить, добавляйте их точечно. В robots.txt важна не «красота» файла, а точность путей.

Например, если нужно закрыть служебный каталог или внутренний поиск, правило должно указывать именно на нужный путь. Сравните:

• правильно: Disallow: /search/ — если сайт реально использует такой путь для поиска;
• неправильно: Disallow: / — это закроет весь сайт;
• неправильно: Disallow: /category без понимания структуры URL — можно случайно задеть лишнее.

Если у вас несколько правил, размещайте их так, чтобы более конкретные шли рядом с общими. Но не рассчитывайте, что robots.txt решит все SEO-задачи. Для страниц, которые нужно убрать из индекса, обычно используют noindex на уровне страницы или настройку плагина SEO, а не запрет обхода.

Если на сайте есть нестандартные URL, сначала проверьте, как они реально выглядят в браузере. В WordPress структура может отличаться в зависимости от постоянных ссылок, плагинов и темы.

Как изменить robots.txt в WordPress

Есть два нормальных способа: через хостинг или вручную по FTP/SFTP. Если на сайте уже есть физический файл robots.txt в корне, WordPress его не подменяет. Если файла нет, WordPress может отдавать виртуальный вариант, но на практике для контроля лучше создать свой файл в корне сайта.

Самый надёжный путь — отредактировать файл через файловый менеджер хостинга или по FTP/SFTP. Откройте корневую папку сайта, где лежат wp-config.php, wp-content и wp-admin, и создайте или измените robots.txt.

Если вы используете SEO-плагин, у него может быть встроенный редактор robots.txt. Это удобно, но важно понимать, что не все плагины одинаково работают с физическим файлом. После сохранения всё равно проверьте, какой именно вариант отдается по адресу /robots.txt.

Если на сайте есть кэш на уровне сервера, CDN или плагина, после изменений очистите кэш. Иначе вы можете смотреть старую версию файла и думать, что правки не применились.

Как проверить, что файл работает правильно

После настройки откройте https://ваш-домен/robots.txt в браузере. Файл должен открываться как обычный текст, без редиректов на ошибку и без лишней HTML-обвязки.

Проверьте три вещи:

• в файле нет случайного Disallow: /;
• закрыты только те пути, которые действительно не нужны в поиске;
• важные страницы, изображения и ресурсы не попали под общий запрет.

Дальше имеет смысл проверить отдельные URL в инструментах для вебмастеров поисковых систем. Там видно, разрешён ли обход конкретной страницы и не мешает ли ей robots.txt. Это особенно полезно, если сайт уже давно работает и вы не уверены, какие правила накопились в файле за прошлые годы.

Если после правок нужные страницы всё ещё не индексируются, причина может быть не в robots.txt. Тогда стоит смотреть на мета-теги, канонические URL, статус ответа сервера, внутренние ссылки и дубли страниц. Сам файл robots — только один из факторов.

Типичные ошибки, которые мешают индексации

На практике чаще всего ломают не сам WordPress, а слишком агрессивную настройку файла. Вот ошибки, которые встречаются особенно часто:

• закрывают весь сайт одной строкой Disallow: /;
• запрещают /wp-content/, хотя там лежат нужные изображения и скрипты;
• пытаются убрать страницу из индекса только через robots.txt;
• редактируют файл, но не проверяют, что он реально отдается по адресу /robots.txt;
• оставляют старые правила после смены структуры URL.

Если сайт небольшой, лучше держать файл максимально простым. Чем меньше в нём правил, тем ниже шанс случайно перекрыть важный раздел. Для большинства WordPress-сайтов достаточно нескольких строк, а не длинного списка запретов.

Если вам нужно не просто закрыть служебные URL, а аккуратно убрать дубли, технические страницы и лишние архивы, удобнее делать это через SEO-настройки сайта, а не пытаться собрать весь контроль в одном robots.txt. В таких случаях полезны инструменты, которые помогают управлять дублями и служебными страницами без ручного редактирования десятков правил.

Когда файл настроен аккуратно, он не мешает индексации важных страниц и при этом убирает лишний технический шум. Это и есть нормальная задача robots.txt в WordPress: не «закрыть всё», а оставить поисковику понятный и чистый маршрут по сайту.