0 Пользователей и 1 Гость просматривают эту тему.
User-Agent: *Disallow: /cgi-bin/
а допустим, я поставлю авторизацию! Поисковики проиндексируют внутренние файлы! Т.е. они смогут зайти на защищённые сайты?