Forum Webscript.Ru

Общие => Веб-технологии => Тема начата: YA от 08 Апреля 2002, 01:17:28

Название: User-Arent от роботов
Отправлено: YA от 08 Апреля 2002, 01:17:28

Если кто знает, подскажите какой-нибудь ресурс, где есть списки заголовков User-Arent, посылаемых роботами, а не визуальными броузерами (задача отфильтровать именно роботов).
В книге нашел ссылку на страницу с info.webcrauler.com, но она, увы, не работает.

Название: User-Arent от роботов
Отправлено: Макс от 08 Апреля 2002, 01:30:42

Есть у меня старая статистика по некоторым роботам, но известных там нету. Откуда скачал не помню, могу на время выложить где-нибудь (200 Kb)

Название: User-Arent от роботов
Отправлено: Dm от 08 Апреля 2002, 03:16:41

взгляни еще тут:
http://www.stins.ru:8100/~joker/docs/robots/active.html

Название: User-Arent от роботов
Отправлено: YA от 08 Апреля 2002, 08:29:02

Цитировать

могу на время выложить где-нибудь

Если не трудно...

Цитировать

взгляни еще тут:
http://www.stins.ru:8100/~joker/docs/robots/active.html

Только вот апдейты там очень старые, да и наших яндекс, апрот и т.д. там вообще не видать. Но, спасибо, все равнопригодиться.

Название: User-Arent от роботов
Отправлено: Oak от 08 Апреля 2002, 15:51:23

В Nавигаторе я кидал "список всех броузеров" - в нем перечисляются все , включая кравлеры.

Название: User-Arent от роботов
Отправлено: ThE0ReTiC от 08 Апреля 2002, 16:12:05

Сходи на http://www.spidershunters.com.
Вот пример:
http://www.spiderhunter.com/spiders/index.cfm
http://www.spiderhunter.com/spiderlist/index.cfm?FuseAction=Results&Key=1507.96447372&SearchEngineIDLink=-1&ReportFormat=0&information=0

Название: User-Arent от роботов
Отправлено: Макс от 08 Апреля 2002, 17:29:35

Цитировать

Если не трудно...

У меня было то что Dm предложил