Что такое Robots.txt?

robots.txt — это текстовый файл, расположенный в корневой директории веб-сайта, который содержит инструкции для поисковых роботов (краулеров) о том, какие страницы или разделы сайта следует индексировать, а какие — игнорировать. Этот файл помогает контролировать доступ поисковых систем к определенным частям сайта, улучшая управление его видимостью в результатах поиска.

Примеры файла `robots.txt`

Пример 1: Запрет на индексацию всего сайта

User-agent: *

Disallow: /

Этот файл запрещает всем поисковым роботам индексацию всех страниц сайта.

Пример 2: Разрешение индексации всего сайта

User-agent: *

Disallow:

Этот файл разрешает всем поисковым роботам индексацию всех страниц сайта.

Пример 3: Запрет на индексацию определенных разделов сайта

User-agent: *

Disallow: /admin/

Disallow: /private/

Disallow: /tmp/

Этот файл запрещает всем поисковым роботам индексацию страниц, расположенных в каталогах /admin/, /private/ и /tmp/.

Пример 4: Разрешение индексации для всех, кроме определенного робота

User-agent: Googlebot

Disallow: /no-google/

User-agent: *

Disallow:

Этот файл запрещает индексацию раздела /no-google/ только для робота Googlebot, а всем остальным роботам разрешает индексацию всех страниц сайта.

Пример 5: Указание местоположения карты сайта (Sitemap)

User-agent: *

Disallow:

Sitemap: https://www.example.com/sitemap.xml

Этот файл разрешает всем роботам индексацию всех страниц сайта и указывает местоположение карты сайта sitemap.xml.

Пример 6: Запрет индексации динамических параметров

User-agent: *

Disallow: /*?sessionid=

Disallow: /*?ref=

Этот файл запрещает всем роботам индексацию URL с параметрами sessionid и ref.

Также рекомендуем к прочтению: Гайд по robots.txt для начинающих SEO-специалистов

Robots.txt

Примеры файла robots.txt