Добро пожаловать, Гость!
Подскажите
Общие вопросы | Подскажите
vadim5 : Подскажите
2 Марта 2014захожу на сайт пишу в адресной строке site.ru/robots.txt показывает вот такое U s e r - a g e n t : * D i s a l l ow : / c g i - b i n / D i s a l l ow : / a dm _ p a n e l / D i s a l l ow : / s t y l e / D i s a l l ow : / s y s / D i s a l l ow : / c h a t / D i s a l l ow : / d o c s / что оно означает на другом сайте такого нет
Комментарии:
Стритрейсер
2 Марта 2014
vadim5 (2 Марта 2014):
Hatchet, а что по стандартном нужно открывать для роботов?
Allow: /Hatchet, а что по стандартном нужно открывать для роботов?
Стритрейсер
2 Марта 2014
vadim5 (2 Марта 2014):
Hatchet, значит ничего опасного нет?
vadim5, нет, разве что только можно будет любому пользователю сети узнать где расположена например админкаHatchet, значит ничего опасного нет?
Стритрейсер
2 Марта 2014к примеру у тебя написано
Disallow: /adm_panel
это значит что поисковые роботы не будут сканировать папку admin_panel и все остальные страницы лежащие в этой папке
Стритрейсер
2 Марта 2014
vadim5 (2 Марта 2014):
тоесть те папки что написаны они будут доступны для яндекс роботов?
vadim5, неттоесть те папки что написаны они будут доступны для яндекс роботов?
деректива User-agent: * - разрешает всем поисковым роботам сканировать твой сайт.
деректива Disallow - блокирует доступ ко всему сайту либо отдельным страницам
