Идентификация роботов

[Perlita]

Подскажите плиз как поступить...

Скрпит обрабатывает файл со статистикой посещения сайта
Файл представляет собой строки вида:
....
10/07/02|64.68.82.71|/news/27052002.php|Unknown|
....
Можно ли в статистике не учитывать посещения поисковых роботов, т.е. как-то различать посещения броузера пользователя от посещений поисковых роботов.

[ThE0ReTiC]

Отлавливай заходящего через $HTTP_SERVER_VARS["HTTP_USER_AGENT"]  Список всех пауков в инете есть. Ссылку не помню - дома лежит.
Можно воспользоваться get_browser() для человеческого представления записи User_Agent, но думаю, тебе это не надо.

[Perlita]

Спасибо... суть понял. А по-другому никак, через куки каки-нибудь?

[ThE0ReTiC]

Perlita

Ну какие у робота куки.
Сам подумай...

[Perlita]

Нуу да...   я и  подумал, что на этом сыграть можно. Т.е. так и идентифицировать робота

[rembo]

Не ужели роботы так часто по сайту ходят? Если это так то можно как-то узнать сколько процентов хитов приходится на роботов?

[Perlita]

Googlebot ходит каждый день, хитов получается когда как, когда 10%, когда и больше -) настоящее нашествие роботов

[Меняздесьдавнонет]

Роботы часто ходят.
И я ндекс и гугля и другие.
Я, по началу, отлавливал по отсутствию загрузки картинок.
Но получается не очень верная картина - лучше уж все-таки, по сигнатурам.

[ThE0ReTiC]

Perlita
http://www.searchengines.ru/stories.php?story=02/03/03/9055683
Правда не все

[Tronyx]

Perlita я чем тебя $HTTP_SERVER_VARS["HTTP_USER_AGENT"] не устраивает?

[Perlita]

спасибо за урль.
Tronyx просто думал, что есть более простой способ, чем проверка $HTTP_SERVER_VARS["HTTP_USER_AGENT"] со значениями из массива

[Меняздесьдавнонет]

Ага, специальный заголовок в НТТР - "Я робот!".

[Tronyx]

Tronyx просто думал, что есть более простой способ, чем проверка $HTTP_SERVER_VARS["HTTP_USER_AGENT"] со значениями из массива

Проще некуда.

[Perlita]

http://www.robotstxt.org/wc/active/html/index.html - список 284 роботов