Файл robots.txt для WordPress-сайта

Файл robots.txt используется для указания поисковым роботам, какие страницы или разделы сайта они могут индексировать, а какие — нет. Для WordPress-сайта, чтобы закрыть от индексации лишние страницы, можно использовать следующий пример robots.txt:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /readme.html
Disallow: /license.txt
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /?s=
Disallow: /search/
Disallow: /author/
Disallow: /page/
Disallow: /category/*/feed
Disallow: /tag/*/feed
Disallow: /*/feed
Disallow: /*/feed/rss/
Disallow: /*/trackback
Disallow: /*?*
Disallow: /*?

Allow: /wp-content/uploads/
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.css
Allow: /wp-content/plugins/*.js

Sitemap: https://ваш-сайт.ру/sitemap.xml

Пояснение:

**User-agent: *** — применяется ко всем поисковым роботам.
Disallow — запрещает индексацию указанных путей:

/wp-admin/, /wp-includes/, /wp-content/plugins/, /wp-content/themes/ — закрывает доступ к служебным папкам WordPress.
/wp-login.php, /wp-register.php — закрывает доступ к страницам входа и регистрации.
/readme.html, /license.txt — закрывает доступ к техническим файлам.
/xmlrpc.php — закрывает доступ к XML-RPC, который может использоваться для атак.
/trackback/, /feed/, /comments/feed/ — закрывает доступ к RSS-лентам и трекбекам.
/?s=, /search/ — закрывает доступ к страницам поиска.
/author/, /page/, /category/*/feed, /tag/*/feed — закрывает доступ к архивам авторов, страницам, категориям и тегам.
/*/feed, /*/trackback, /*?*, /*? — закрывает доступ к дублям страниц, фидам и параметрам запросов.

Allow — разрешает индексацию важных файлов, таких как CSS, JS и медиафайлы.
Sitemap — указывает путь к карте сайта (замените https://ваш-сайт.ру/sitemap.xml на реальный URL вашего сайта).

Важно:

Этот файл является рекомендацией для поисковых роботов, но не гарантирует, что они будут его строго соблюдать.
Если вы хотите полностью заблокировать доступ к определённым страницам, используйте .htaccess или плагины для WordPress.
Перед внедрением проверьте, как файл robots.txt влияет на индексацию, с помощью инструментов веб-мастеров (Google Search Console, Яндекс.Вебмастер).

Сохраните этот код в файл robots.txt и загрузите его в корневую директорию вашего сайта.