Forum Webscript.Ru
Общие => Веб Сервера => Тема начата: shp от 09 Апреля 2005, 17:11:39
-
Как запретить доступ к robots.txt всем, кроме роботов через .htaccess?
-
никак
-
как вариант по IP , но не заребет ли тебя собирать базу всех поисковых паучков ?
-
вы не поняли.
этот вопрос - сам по себе гениальный.
отвечать на него не надо.
его надо в музей в первозданном виде, да
-
shp
а зачем?
-
ThE0ReTiC,
В wwwroot может быть несколько директорий, куда паукам соваться не надо, например, с инклюдами или другими служебными файлами (думаю, это Вы и без меня прекрасно знаете, ведь правда?), соответственно, их желательно прописать в robots.txt. С другой стороны, просмотрев содержимое robots.txt, в таком случае можно получить кое-какие сведения о содержимом wwwroot.
Конечно, на многих сайтах все это добро вынесено за пределы wwwroot, некоторые поисковики все равно игнорируют Disallow и т.д... Но все это частный случай. Да и просто - зачем предоставлять пользователям лишнюю информацию, если этого можно не делать?
В принципе, проблема не критична, но за спрос ведь не бьют?
P.S. Пользуясь случаем, хочу задать маленький вопрос (надеюсь, на меня не обидятся, что я не создал отдельную тему). Вот правило в .htaccess:
Order deny,allow
Deny from all
Оно запрещает всем, кроме сервака, доступ к .htaccess и к *.inc. Существует ли возможность добавления отрицания к регулярному выражению (как в mod_rewrite) для того, чтобы запретить доступ ко всем файлам, кроме .htaccess и *.inc?
-
shp:
Да и просто - зачем предоставлять пользователям лишнюю информацию, если этого можно не делать?
В принципе, проблема не критична, но за спрос ведь не бьют?
За спрос не бьют. Бьют за непонимание самых базовых основ, которое приводит к спросу.
Ты долджен определиться -выкладываешь ты что-то, или нет. Безо всяких "лишнее - не лишнее". Если выложил - значит забыл обо всяких ограничениях.
shp:
запретить доступ ко всем файлам, кроме .htaccess и *.inc?
запретить доступ ко всем, кроме .htaccess и *.inc? Ты ничего не напутал?
-
я, кстати, чё-та не понял.
wwwroot может быть несколько директорий, куда паукам соваться не надо, например, с инклюдами или другими служебными файлами (думаю, это Вы и без меня прекрасно знаете, ведь правда?),
Нет, не знаем.
а что будет, если паук сунется в такую директорию?
-
RomikChef:
запретить доступ ко всем, кроме .htaccess и *.inc? Ты ничего не напутал?
Это для примера. В реальности - это, конечно, бред
-
обожаю вопросы для примера.
ну, для примера тебе и ответ - да.
-
RomikChef:
обожаю вопросы для примера.
Ты больше обожаешь разводить ненужный флейм
RomikChef:
Бьют за непонимание самых базовых основ, которое приводит к спросу.
Вот себя и бей. Это же ты спрашивал:
RomikChef:
а что будет, если паук сунется в такую директорию?
Ничего страшного, конечно, не случится. Просто всякий мусор проиндексирует
-
shp:
Ты больше обожаешь разводить ненужный флейм
не надо ля-ля. флейм разводишь ты.
какой вопрос - такой и ответ.
задашь конкретный вопрос - получишь конкретный ответ.
пока от тебя ещё ни одного осмысленного вопроса не прозвучало.
такие проблемы, какие стоят перед тобой, перед другими людьми просто не возникают. поэтому тебе надо не дуться и сопли пускать, а ЗАДУМАТЬСЯ над тем, что тебе говорят.
А то больно много вас тут бегает. Зананий на копейку, а гонору на рубль. Фитилёк прикрути.
shp:
Просто всякий мусор проиндексирует
очень интересно. и каким же это образом он всякий мусор проиндексирует?
сделает листинг каталога на диске, прочитает список файлов - да?
паук что-то проиндексирует только в том случае, если у тебя совершенно криворукий админ. Что абсолютно невозможно на самом деле, а индексация - плод твоей богатой фантазии. Если же паче чаяния, это на самом деле так, то и в этом случае надо не глупостями заниматься а отрыванием рук админу и вставлением их туда, откуда они на самом деле растут.
-
если на этот мусор нигде не стоит ссылок, то его никто и не проиндексирует, соответственно, можно это в robots.txt и не пихать.
-
щас будут тебе ссылки.
-
с инклюдами или другими служебными файлами
всю жизнь думал, что инклюды и служебные файлы можно подключать из директории, которая лежит вне wwwroot...
-
Yukko, даже если их не подключать, они все равно никакому пауку не будут видны. убирают их из ввврут только отУГАДЫВАНИЯ, а не от индексирования.
-
Yukko:
всю жизнь думал, что инклюды и служебные файлы можно подключать из директории, которая лежит вне wwwroot...
Вообще-то я об этом уже писал в начале. Инклюды лежат в wwwroot - это частный случай.
RomikChef,
таких как ты - крикунов - сотни. Тем, кто больше всех кричит и кидает понты, до специалиста обычно как до луны. Лишь бы сообщений побольше набрать... Особенно таких много на phpclub.ru.
В общем, предлагаю не засорять форум. Не можешь помочь - не отвечай. Неужели так сложно?
-
shp
внимательно прочитай тему! ОЧЕНЬ внимательно! Судя по всему, ты думаешь, что у тебя поисковик прямо по файловой системе ходит!? Тебе уже сказали, что, как и куда положить! Если на файл, какой бы он ни был, вспомогательный ли, с паролями, с кодами от ядерной бомбы, до тех пор, пока на него нету ссылки, ни один поисковик его не найдет, пусть он хоть в корне сайта валяется!
-
shp
флэйм порождает флэйм!
RomikChef
Рома будь посдерженне плиз... ;)
-
вы бы не морализаторством занимались, а объяснили ему, если такие правильные.
пока топик всё ещё топчется на месте
до чувака так и не дошла вся бессмысленность его вопросов.
-
Yukko:
Судя по всему, ты думаешь, что у тебя поисковик прямо по файловой системе ходит!?
Нет, я так не думаю. Давайте на этом закроем тему.