Forum Webscript.Ru

Общие => Веб Сервера => Тема начата: RelaX от 18 Марта 2006, 15:20:07

Название: Индексация поисковиками
Отправлено: RelaX от 18 Марта 2006, 15:20:07

Здравствуйте!
как можно по логам web-сервера определить, когда была произведена индексация сайта поисковыми роботами? в частности интересует яндекс и рамблер.
Может что-то обое пишется в логах?

Название: Индексация поисковиками
Отправлено: alex007 от 19 Марта 2006, 01:31:00

RelaX
Agent: Rambler или Yandex

Название: Индексация поисковиками
Отправлено: Greg от 20 Марта 2006, 07:06:10

alex007
иногда поисковики меняют агентов, чтобы черные оптимизаторы не смогли этим воспользоваться

Название: Индексация поисковиками
Отправлено: StarLey от 06 Апреля 2006, 17:44:52

А как они ими могут воспользоваться?

Название: Индексация поисковиками
Отправлено: Yukko от 07 Апреля 2006, 20:57:31

StarLey, отдавать поисковику и пользователю абсолютно разный контент.
http://wiki.searchengines.ru/WikipediaSEO/PoiskovyjjSpam/Kloaking?v=3wq