Общие > Веб-технологии

robots.txt vs .htaccess

(1/1)

advisor:
Всем известно для чего предназначен файл robots.txt. Но вот вопрос в том сможет ли его проверить паук если я файлом .htaccess запретил браузеру открывать *.txt файлы ?

alex6999:
ты не браузеру запретил открывать, ты запретил серверу отдавать тхт файлы.

ответ: не сможет

Навигация

[0] Главная страница сообщений