robots.txt

15 Авг 2013
от каких "паучков" спасает этот файл robots.txt и что конкретно файл делает.

Статистика WMID автора:

Претензии | Отзывы

Комментарии:

Sektor

15 Авг 2013
Сатан84,
Тут ответы на все вопросы.

15 Авг 2013

Сатан84 (15 Авг 2013):
Допустим я в пишу в файл все что не хочу что бы видели боты то они не увидят? Я так понял Вас?

Сатан84,
robots.txt наоборот создан для того чтоб поисковые роботы могли видеть что у тебя на сайте есть.

Сатан84 15 Авг 2013
Допустим я в пишу в файл все что не хочу что бы видели боты то они не увидят? Я так понял Вас?

15 Авг 2013
для поисковых ботов, для них эта карта сайта.