Популярные новости

Календарь
«    Май 2017    »
ПнВтСрЧтПтСбВс
1234567
891011121314
15161718192021
22232425262728
293031 


Реклама


Логин:     Пароль: 

Любая деятельность должна быть скоординирована. И даже поисковым роботам нужны инструкции, которые регулируют их работу и обеспечивают правильное функционирование. Первым таким инструментом является простой текстовый файл robots.txt. Впервые попав на любой сайт, роботы отправляются на поиски именно этого незаменимого файла.

Спектр возможных механизмов регулирования обширен. Роботам можно запрещать посещать или индексировать те или иные страницы или их части, указывать на желаемый временной интервал и корректное «зеркалность» домена и ряд других возможностей. Всё это необходимо прописать в файле robots.txt, который легко создать самостоятельно с помощью, например, блокнота, но сложнее заполнить так, чтобы эти инструкции были приняты и поняты. Размещаться файл должен в корневой директории сайта. Запись, отвечающая за каждую операцию, должна состоять из двух полей: User-agent и Disallow. При условии синтаксически правильных записей поисковые роботы получат инструкции, в соответствии с которыми будут успешно действовать на сайте.

Но ведь некоторые оптимизаторы неуверенны в правильности его создания, другие же – совсем не знают тонкостей создания. Не нужно отчаиваться или же изучать литературу по этому поводу. С помощью нашего сервиса вы можете сгенерировать и скачать файл robots.txt для своего сайта. Весь процесс создания этого нужного для поисковиков файла займет несколько минут.

Адрес сайта
Полный запрет индексации сайта
Crawl-delay (задержка индексирования в секундах)
Запреты для всех поисковых роботов
Запрет директорий (через запятую)
Запрет файлов (через запятую)
Запреты для картиночных ботов
Полный запрет индексации картинок
Запрет директорий (через запятую)
Запреты программ скачивания сайтов
Запрет скачивания сайта
Главный сайт для Yandex
Включить
Главный сайт
Карта сайта