Генератор robots.txt

   Данный инструмент поможет сгенерировать файл robots.txt. Поисковый робот индексируя сайт сначала обходит файл robots.txt, очень важно знать синтаксис, этот инструмент поможет Вам разобраться в синтаксисе robots.txt.
Адрес сайта (без http://, только домен)
User-agent:
Disallow:
Host:
SiteMap:
Результат, содержимое файла robots.txt  

   
каталог