При нахождении на сайте Вы соглашаетесь с политикой обработки персональных данных.
Robots.txt ? это файл, по сути, являющийся инструкцией для поисковых роботов. Файл вводится в корневую папку сайта и регулирует поведение поисковых машин, в основном, скрывая какую-либо страницу или её часть от индексации.