Настройка ROBOTS.txt
Полезные статьи

Настройка ROBOTS.txt

Что такое robots.txt? ROBOTS.TXT — Стандарт исключений для роботов — файл в текстовом формате.txt для ограничения доступа роботам к содержимому сайта. Файл должен находиться в корне сайта (по адресу /robots.txt). Использование стандарта необязательно, но поисковые системы следуют правилам, содержащимся в robots.txt. Сам файл состоит из набора записей вида <поле>:<необязательный пробел><значение><необязательный пробел> где поле — название правила…