robots.txt в WordPress нужен не для «ускорения индексации», а для управления обходом сайта поисковыми роботами. Если настроить его без понимания, можно случайно закрыть важные страницы, оставить в обходе служебные разделы или вообще не получить ожидаемого эффекта, потому что robots.txt не удаляет страницы из индекса сам по себе.
В WordPress этот файл часто правят после запуска сайта, при переезде на новый домен или когда в поиске начинают всплывать лишние URL вроде служебных страниц, параметров фильтрации и технических каталогов. Ниже — что в robots.txt действительно можно закрывать, что трогать не стоит и как проверить результат.
Что делает robots.txt и чего от него ждать не стоит
Файл robots.txt лежит в корне сайта и отвечает на простой вопрос: какие URL поисковому роботу можно или нельзя обходить. Это не механизм защиты, не способ скрыть страницу от людей и не гарантия удаления из поисковой выдачи.
Если робот уже знает URL, он может сохранить его в индексе даже без обхода содержимого. Поэтому для страниц, которые нужно убрать из поиска, обычно используют не robots.txt, а мета-тег noindex или заголовок X-Robots-Tag. Но это уже другая задача: robots.txt управляет именно обходом, а не индексацией как таковой.
Что обычно можно закрывать в WordPress
В robots.txt имеет смысл закрывать только то, что не нужно сканировать поисковикам и что не приносит пользы в выдаче. Для WordPress это чаще всего служебные и технические URL, а не контентные страницы.
Служебные разделы и внутренние файлы
Обычно закрывают:
/wp-admin/— административную часть сайта;/wp-includes/— системные файлы WordPress;- служебные скрипты и каталоги, если они доступны по прямому URL и не нужны в поиске.
Для /wp-admin/ есть важная оговорка: полностью закрывать его бездумно не стоит, если у вас есть нестандартные сценарии, где часть ресурсов из этой области должна быть доступна роботу. На обычном сайте достаточно стандартного запрета на обход админки, но не нужно пытаться «усилить» его лишними правилами наугад.
Результаты поиска и страницы с параметрами
Поисковые результаты сайта и URL с параметрами часто создают мусорный обход. Например, внутренний поиск WordPress может генерировать страницы вида /?s=..., а фильтры и сортировки — длинные URL с параметрами.
Такие адреса обычно не нужны в поиске, потому что они дублируют или почти не отличаются от основных страниц. Их можно закрывать в robots.txt, если вы уверены, что эти URL не должны попадать в обход поисковых систем.
Но здесь есть нюанс: если параметрические страницы уже где-то используются как посадочные и приносят трафик, закрывать их вслепую не стоит. Сначала проверьте, есть ли у них реальная ценность для поиска и пользователей.
Технические дубли и временные страницы
Если на сайте есть технические копии, тестовые каталоги, временные папки после миграции или старые служебные разделы, которые не должны участвовать в обходе, их тоже можно закрыть. Это особенно полезно после переноса сайта, когда в корне остаются старые каталоги, архивы или резервные папки, доступные по прямому URL.
Но если речь о контенте, который уже опубликован и должен индексироваться, robots.txt не подходит. Закрытие такой страницы в robots.txt может только помешать роботу увидеть содержимое и не решит задачу удаления из поиска.
Что нельзя закрывать в robots.txt
Самая частая ошибка — закрыть в robots.txt то, что должно участвовать в индексации или хотя бы быть доступным для обхода. После этого поисковик может хуже понимать структуру сайта, а часть страниц перестанет нормально обновляться в выдаче.
Публикуемые страницы, записи и рубрики
Нельзя закрывать в robots.txt основные страницы сайта: записи, страницы, рубрики, теги, архивы авторов и другие разделы, которые вы хотите видеть в поиске. Если закрыть их от обхода, робот не сможет нормально переобходить контент и оценивать изменения.
Особенно опасно закрывать целые каталоги, в которых лежат и служебные, и полезные URL. Например, если в шаблоне или плагине часть контента формируется в отдельной папке, запрет на весь каталог может задеть нужные страницы.
Файлы CSS и JavaScript
Их часто пытаются закрыть «для чистоты», но это плохая идея. Поисковым системам нужны CSS и JS, чтобы корректно отрисовать страницу и понять, как она выглядит и работает. Если закрыть такие файлы, робот может увидеть страницу не так, как пользователь, и это иногда мешает оценке мобильной версии, интерактивных элементов и общего качества страницы.
Если у вас есть старый robots.txt с запретами на /wp-content/ или отдельные папки с ассетами, его стоит пересмотреть. Закрывать нужно не весь каталог, а только действительно лишние служебные URL, если они есть.
Медиафайлы без проверки последствий
Изображения и другие медиафайлы не всегда нужно закрывать. Если картинки участвуют в поиске по изображениям или помогают понять страницу, закрывать их не стоит. На некоторых сайтах это может ухудшить видимость в поиске по картинкам и затруднить индексацию страниц, где медиафайлы важны для контента.
Закрывать медиа имеет смысл только тогда, когда вы точно понимаете, зачем это делаете: например, если это служебные файлы, которые не должны быть доступны поисковым роботам и не несут ценности для поиска.
Практичный вариант robots.txt для WordPress
Для обычного сайта на WordPress достаточно аккуратного базового файла без лишних запретов. Он не должен быть перегружен правилами «на всякий случай».
Пример минимального и безопасного варианта:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Этот вариант закрывает админку от обхода, но оставляет доступ к admin-ajax.php, который нужен многим темам и плагинам. Если вы используете дополнительные служебные каталоги или тестовые папки, добавляйте их точечно, а не целыми блоками.
Если на сайте есть страницы поиска или параметры, которые вы хотите исключить из обхода, добавляйте их только после проверки, что они действительно не нужны в индексе. Например, запрет на /?s= может быть оправдан, если внутренний поиск не должен попадать в выдачу, но это не универсальное правило для всех сайтов.
Как редактировать robots.txt в WordPress
В WordPress файл robots.txt можно создать или изменить несколькими способами. Выбор зависит от того, есть ли у вас доступ к серверу и как устроен хостинг.
- Через корень сайта по FTP или в файловом менеджере хостинга. Это самый прямой способ, если у вас есть доступ к файлам. Нужно создать или отредактировать файл
robots.txtв корне сайта. - Через SEO-плагин. Многие SEO-плагины позволяют редактировать robots.txt из админки. Это удобно, если не хочется лезть в файловую систему, но важно помнить: не каждый плагин работает одинаково, а некоторые хостинги могут отдавать физический файл вместо виртуального.
Если в корне сайта уже есть физический robots.txt, именно он обычно будет иметь приоритет. Поэтому после правки важно проверить, какой файл реально отдается поисковику и браузеру.
Как проверить, что настройка работает
После сохранения файла откройте https://ваш-домен/robots.txt в браузере. Вы должны увидеть именно тот текст, который добавили. Если отображается старое содержимое, значит, на сайте может быть кэш, виртуальный robots.txt от плагина или правило на стороне сервера.
Дальше проверьте несколько вещей:
- не закрыт ли случайно
/wp-content/целиком; - не запрещены ли CSS и JS;
- не попали ли в запреты страницы, которые должны индексироваться;
- доступен ли
/wp-admin/admin-ajax.php, если он нужен теме или плагинам.
Если вы используете инструменты для проверки в панели вебмастера поисковой системы, там можно увидеть, как робот читает robots.txt и какие URL считает закрытыми. Это полезно, когда файл выглядит правильно, но поисковик продолжает вести себя так, будто видит старую версию.
Типичные ошибки, из-за которых сайт теряет видимость
На практике проблемы почти всегда повторяются. Вот ошибки, которые встречаются чаще всего:
- закрывают весь сайт одной строкой
Disallow: /и забывают убрать её после разработки; - запрещают
/wp-content/, из-за чего робот не видит стили, скрипты и медиа; - добавляют слишком широкие правила вместо точечных запретов;
- пытаются спрятать страницы от индексации через robots.txt, хотя нужен
noindex; - редактируют файл, но не проверяют, какой robots.txt реально отдаёт сервер.
Если сайт уже просел в поиске после правки robots.txt, первым делом сравните текущий файл с предыдущей версией и проверьте, не закрыли ли вы важные разделы. Иногда достаточно вернуть доступ к CSS, JS или основным страницам, чтобы робот снова начал нормально обходить сайт.
Если нужен более аккуратный контроль над техническими дублями и служебными страницами, иногда удобнее решать часть задач не вручную, а через инструменты для SEO-очистки сайта, например Clearfy Pro: https://wpshop.ru/plugins/clearfy?utm_source=wpto.ru&utm_medium=article&utm_campaign=kak-nastroit-robots-txt-v-wordpress-chto-mozhno-zakryvat-a-chto-nelzya. Но даже в этом случае robots.txt стоит проверять вручную — автоматические настройки не отменяют здравый смысл.
Главное правило простое: в robots.txt закрывают только то, что действительно не должно обходиться поисковыми роботами. Всё, что должно индексироваться, должно оставаться доступным для обхода, а спорные URL лучше проверять отдельно, а не запрещать по инерции.