Автор Тема: нетривиальные настройки robots.txt  (Прочитано 4231 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн mussa

  • Завсегдатай
  • Новичок
  • *
  • Сообщений: 34
  • +0/-0
  • 0
    • Просмотр профиля
    • http://
нетривиальные настройки robots.txt
« : 22 Августа 2007, 15:20:24 »
Добрый день!

Возможна ли команда:

Disallow: ?page
это для того, чтоб поставить запрет на индексацию адресов типа:
http://домен/node/394?page=0%2C5


этот кусок - "?page=..." - он, собака генерируется всякий раз по-новому... хотя страница старая и поисковики по сто раз одно и то же индексируют
На сайте 1 т. страниц, а проиндексировано 20т.
(причина - paging внизу страниц, создающий ссылки такого вида, сами страницы имеют нормальные ссылки node/394 и т.п.)

В доках по синтаксису robots.txt
все эти штуки идут со слэшем впереди.
Но нам-то нужен не запрет на файл или директорию, а на
урлы, в которых есть такой кусок: "?page=" ит.д.
« Последнее редактирование: 22 Августа 2007, 23:15:33 от mussa »

 

Sitemap 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28