Forum Webscript.Ru
Разное => Поиск, изготовление скриптов и прочее... => Тема начата: Sergg от 23 Мая 2006, 16:42:02
-
Вообщем нужно сделать скрипт на perl или php (кому как удобней), денег на все про все баксов 10-15 т.к скрипт думаю не сложный.
Что должен делать скрипт (программа минимум): я указываю ему адрес вап-сайта (или обычного), он идет на этот сайт (желательно чтобы поддержка прокси была) и находит все ссылки на главной странице сайта, переходит по ним и находит еще ссылки и т.п. Вообщем он должен обползать весь вап-сайт и найти все внутренние ссылки которые там есть и записать в лог. Не плохо бы было если бы он записывал в лог только ссылки на файлы нужного мне разширения, совсем хорошо бы было если можно было указать список исключений чтобы он не брал лишнего.
Зачем это надо - нужно получить список всех url файлов на нужном сайте нужного разширения, потом по этому списку пройдется другой скрипт и узнает размеры этих файлов по тем урл и сравнит с моими файлами и вынесет вердикт типа файл по такому-то урл совпадает с моим файлом таким-то и т.д, чтобы я сразу смог наехать на тот сайт и предъявить все url моих файлов которые они стырили. Главное сделать паука сборшика ссылок, сравнение я в принципе и сам смогу, но если в скрипте это будет то будет круто. Пробовал проги проверки бытых ссылок - они хорошо все находили, но не поддерживали экспорт ссылок в текстовый файл и т.п
Очень жду ответа.