« предыдущая тема следующая тема »
Страницы: [1]   Вниз

Автор Тема: User-Arent от роботов  (Прочитано 3089 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн YA

  • Модератор
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 597
  • +0/-0
  • 0
    • Просмотр профиля
    • http://
User-Arent от роботов
« : 08 Апреля 2002, 01:17:28 »
Если кто знает, подскажите какой-нибудь ресурс, где есть списки заголовков User-Arent, посылаемых роботами, а не визуальными броузерами (задача отфильтровать именно роботов).
В книге нашел ссылку на страницу с info.webcrauler.com, но она, увы, не работает.
Записан
Литературный перевод с русского и английского на Perl. Дорого!

Оффлайн Макс

  • vir magni ingenii
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 3534
  • +0/-0
  • 2
    • Просмотр профиля
User-Arent от роботов
« Ответ #1 : 08 Апреля 2002, 01:30:42 »
Есть у меня старая статистика по некоторым роботам, но известных там нету. Откуда скачал не помню, могу на время выложить где-нибудь (200 Kb)
« Последнее редактирование: 08 Апреля 2002, 01:36:02 от Макс »
Записан
First learn computer science and all the theory. Next develop a programming style. Then forget all that and just hack. ( George Carrette )

Оффлайн Dm

  • Модератор
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 1263
  • +0/-0
  • 0
    • Просмотр профиля
    • http://
User-Arent от роботов
« Ответ #2 : 08 Апреля 2002, 03:16:41 »
Записан
с уважением,
магистр белой магии.

Оффлайн YA

  • Модератор
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 597
  • +0/-0
  • 0
    • Просмотр профиля
    • http://
User-Arent от роботов
« Ответ #3 : 08 Апреля 2002, 08:29:02 »
Цитировать
могу на время выложить где-нибудь

Если не трудно...
Цитировать
взгляни еще тут:
http://www.stins.ru:8100/~joker/docs/robots/active.html

Только вот апдейты там очень старые, да и наших яндекс, апрот и т.д. там вообще не видать. Но, спасибо, все равнопригодиться.
Записан
Литературный перевод с русского и английского на Perl. Дорого!

Оффлайн Oak

  • Дерево
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 1481
  • +0/-0
  • 2
    • Просмотр профиля
    • http://
User-Arent от роботов
« Ответ #4 : 08 Апреля 2002, 15:51:23 »
В Nавигаторе я кидал "список всех броузеров" - в нем перечисляются все , включая кравлеры.
Записан
[основной броузер - SeaMonkey] Netscape Communicator 4 - is the best :) // see sources

Оффлайн ThE0ReTiC

  • Главный по тарелочкам
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 4041
  • +2/-0
  • 2
    • Просмотр профиля
    • http://
User-Arent от роботов
« Ответ #5 : 08 Апреля 2002, 16:12:05 »
Записан
AS IS...

Оффлайн Макс

  • vir magni ingenii
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 3534
  • +0/-0
  • 2
    • Просмотр профиля
User-Arent от роботов
« Ответ #6 : 08 Апреля 2002, 17:29:35 »
Цитировать
Если не трудно...

У меня было то что Dm предложил
Записан
First learn computer science and all the theory. Next develop a programming style. Then forget all that and just hack. ( George Carrette )
Страницы: [1]   Вверх
« предыдущая тема следующая тема »
 

Sitemap 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28