Forum Webscript.Ru
Общие => Веб Сервера => Тема начата: mussa от 22 Августа 2007, 15:20:24
-
Добрый день!
Возможна ли команда:
Disallow: ?page
это для того, чтоб поставить запрет на индексацию адресов типа:
http://домен/node/394?page=0%2C5
этот кусок - "?page=..." - он, собака генерируется всякий раз по-новому... хотя страница старая и поисковики по сто раз одно и то же индексируют
На сайте 1 т. страниц, а проиндексировано 20т.
(причина - paging внизу страниц, создающий ссылки такого вида, сами страницы имеют нормальные ссылки node/394 и т.п.)
В доках по синтаксису robots.txt
все эти штуки идут со слэшем впереди.
Но нам-то нужен не запрет на файл или директорию, а на
урлы, в которых есть такой кусок: "?page=" ит.д.