ThE0ReTiC,
В wwwroot может быть несколько директорий, куда паукам соваться не надо, например, с инклюдами или другими служебными файлами (думаю, это Вы и без меня прекрасно знаете, ведь правда?), соответственно, их желательно прописать в robots.txt. С другой стороны, просмотрев содержимое robots.txt, в таком случае можно получить кое-какие сведения о содержимом wwwroot.
Конечно, на многих сайтах все это добро вынесено за пределы wwwroot, некоторые поисковики все равно игнорируют Disallow и т.д... Но все это частный случай. Да и просто - зачем предоставлять пользователям лишнюю информацию, если этого можно не делать?
В принципе, проблема не критична, но за спрос ведь не бьют?
P.S. Пользуясь случаем, хочу задать маленький вопрос (надеюсь, на меня не обидятся, что я не создал отдельную тему). Вот правило в .htaccess:
<FilesMatch "\\.(htaccess|inc)$">
Order deny,allow
Deny from all
</FilesMatch>
Оно запрещает всем, кроме сервака, доступ к .htaccess и к *.inc. Существует ли возможность добавления отрицания к регулярному выражению (как в mod_rewrite) для того, чтобы запретить доступ ко всем файлам, кроме .htaccess и *.inc?
