Автор Тема: Интересный вопрос о роботах  (Прочитано 2638 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Kai

  • Заглянувший
  • Новичок
  • *
  • Сообщений: 1
  • +0/-0
  • 0
    • Просмотр профиля
    • http://
Интересный вопрос о роботах
« : 10 Июля 2004, 06:37:59 »
Вот, тут такая ситуация.

Как мы знаем, что бы зайти на сайт нужен интернет обозреватель тот же IE или что-нить другое. Но на самом деле, что он делает? Подключается к серверу. Посылает запрос. Получает ответ. Обрабатывает его и выводит на экран в удобочитаемом виде.

Так вот. Случилась у меня такая ситуация, что мне нужно было создать что-то вроде мини обозревателя. Только с малькой обработкой содержимого. Ну и вот. Начал писать. Изучил как с сетью работать. Написал скрипт. Проверил - работает. Подключается, посылает, принимает, выводит. Всё гут.

Пользовался я этим роботом долго. Пока, наконец, он не стал работать. А вернее стал коряво работать. Да и ситуация стала по сложнее.

Появился один ресурс в интернете, с которого надо было забирать инфу. Но для этого нужно было залогиниваться на сайте их. Ну? ИМХО, это всего лишь правельно обработанные пару запросов и ответов.

Да не так всё просто оказалось. Пройти залогинивание можно. Войти. А дальше уже нет. Каким-то образом скрипт на php на чужом сервере определяет, что мой скрипт - робот и выкидывает его.

Что тут может быть? Куки получаю, правельно читаю, и так же успешно отправляю. + там ещё есть параметр вроде SESSION_ID которые тоже нормальто получается и отправляется во всех последующих запросах. Нигде в HTML получаемых данные не указано, что JavaScript должен поменять куки. UserAgent тоже посылаю точно такой же как и у моего IE 6.0 SP1. Самое удивительное, что на сайт можно зайти и лицезреть его после залогинивания, но только через IE или другой обозреватель. А со скрипта не берёт.

Писал на PHP, выкидывало. Думал, что в этом дело. Написал на Perl. Тоже самое. Думал, что мой IP просто заблочен. Создал подключение через Proxy (рабочий). Эфекта ноль. Всё так же выкидывает на главную страницу, все куки выставляет в deleted и пишет потом ошибку "Вы были автоматически отключены от системы". При этом и по сей день, заходя через IE всё идёт ок, а через бота, который один в один его эмулирует не получается.


В чём тут может быть причина? Может IE предаёт ещё какие-то данные, которые не всем известны?? Или ещё чего? У меня вообще была идея создать прогу, перехватывающую все запросы, идущие в сеть и посмотреть, что же различного между моим ботом и IE. Замечу, что даже в тех местах, где IE отправляет запрос через Post мой скрипт тоже отправляет через Post.

Вообще я уже 5 лет программирую на Дельфи и 3-и года в веб программировании. Но вот это вообще выбило. 3-и с половиной месяца бьюсь об стену с этим ботом, а что ещё сделать не знаю. Тут уже дошло до того, что изучил весь HTTP протокой и в отправляемых на сервер данных выставляю чуть ли не все нужные параметры (e.g. Referef и т.д.), всякие там 10-ти секундные задержки ставлю и т.д.

Чё ж делать-то? Срочно надо... если кто-то сталкивался с таким - ICQ:491956 поговорим. Или мне на мыло или ЛС на этом форуме.

С уважением, Kai

Гость

  • Гость
Интересный вопрос о роботах
« Ответ #1 : 29 Июля 2004, 00:38:51 »
Попробуйте поставить proxomitron и посмотреть, какие заголовки он отправляет серверу (и какие заголовки сервер ему возвращает). Должно помочь.

 

Sitemap 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28