Общие > Веб-технологии

User-Arent от роботов

(1/2) > >>

YA:
Если кто знает, подскажите какой-нибудь ресурс, где есть списки заголовков User-Arent, посылаемых роботами, а не визуальными броузерами (задача отфильтровать именно роботов).
В книге нашел ссылку на страницу с info.webcrauler.com, но она, увы, не работает.

Макс:
Есть у меня старая статистика по некоторым роботам, но известных там нету. Откуда скачал не помню, могу на время выложить где-нибудь (200 Kb)

Dm:
взгляни еще тут:
http://www.stins.ru:8100/~joker/docs/robots/active.html

YA:

--- Цитировать ---могу на время выложить где-нибудь
--- Конец цитаты ---

Если не трудно...

--- Цитировать ---взгляни еще тут:
http://www.stins.ru:8100/~joker/docs/robots/active.html
--- Конец цитаты ---

Только вот апдейты там очень старые, да и наших яндекс, апрот и т.д. там вообще не видать. Но, спасибо, все равнопригодиться.

Oak:
В Nавигаторе я кидал "список всех броузеров" - в нем перечисляются все , включая кравлеры.

Навигация

[0] Главная страница сообщений

[#] Следующая страница