Автор Тема: Парсер гугла  (Прочитано 2160 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн EvgenN

  • Заглянувший
  • Новичок
  • *
  • Сообщений: 1
  • +0/-0
  • 0
    • Просмотр профиля
    • http://
Парсер гугла
« : 26 Ноября 2005, 12:43:47 »
Нужен многопоточный парсер гугла через http с использованием проксей. Без mysql, т.е. вся инфа в текстовых файлах.
На входе имеем текстовый файл с одним поисковым запросом на строку, и несколько линков на списки проксей (по одному проки на строку т.е. стандартно) с других сайтов. Несколько на тот случай если облом выйдет с первым, то берем со-второго.
На выходе должен получиться текстовый файл с одним линком на строку.
Парсить должен все результаты, так что желательно загружать страницы по 100 результатов - быстрее получится
Работа под кроном, так что естественно нужен лог.
Устроит например форма запуска кроном потоков вида
script.php 1
script.php 2
script.php 3

Возможность выбирать количество потоков, например изменением цифры в скрипте.

Работать должен на любом хосте, где нет ограничения на время выполнения скриптов.


Предложения просьба слать по адресу:

web(ну очень злая собака ]critespfd . com

 

Sitemap 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28