Генерация файла robots.txt
|
Файл robots.txt, создается на сайте, что бы указывать поисковым роботам, какие каталоги учитывать при индексации, а какие не следует. Вы можете полностью запретить сайт к индексации поисковыми роботами, для этого достаточно поставить галочку в верху формы. Для генерации данных, введите URL вашего сайта, а так же с новой строки, внесите директории, папки и страницы которые следует запретить для индексации.В завершении создайте файл с именем «robots.txt» и поместите его в корневую директорию вашего сайта. (Например: http://www.pr-cy.ru/robots.txt). |