Forum Webscript.Ru

Программирование => Perl => Тема начата: xmolex от 12 Июля 2006, 18:16:38

Название: Поиск (определение контента)
Отправлено: xmolex от 12 Июля 2006, 18:16:38

Здравствуйте уважаемые коллеги.
 Работаю сейчас над разработкой поисковой машины. Когда анализируешь страницы на ссылки, попадаются адреса скриптов, которые кидают тебя на скачивание файлов. Но качать файлы программа не должна. Существует ли какой-нибудь метод для определения, что мы качаем текст (html) или бинарник?
Не знаю даже где искать (наверное слова не те подобрал для поисковика), может кто ссылочку подкинет или опытом поделится. Заранее благодарен.

Название: Поиск (определение контента)
Отправлено: arto от 12 Июля 2006, 18:52:01

Content-Type

Название: Поиск (определение контента)
Отправлено: xmolex от 13 Июля 2006, 10:50:20

Может подскажете как получить только заголовок. Что-то ничего не нашел опять.

Название: Поиск (определение контента)
Отправлено: arto от 13 Июля 2006, 11:17:32

perldoc LWP::Simple | less -p head

Название: Поиск (определение контента)
Отправлено: xmolex от 13 Июля 2006, 11:46:50

Спасибо. Только less в windows работать не будет :)

Название: Поиск (определение контента)
Отправлено: arto от 13 Июля 2006, 12:06:54

у меня работает

Название: Поиск (определение контента)
Отправлено: cr4ck3r от 13 Июля 2006, 15:17:09

Для винды аналог:
perldoc LWP::Simple | find /I "head"

Название: Поиск (определение контента)
Отправлено: AnnA от 13 Июля 2006, 18:41:22

Цитировать

xmolex:
Только less в windows работать не будет

http://www.greenwoodsoftware.com/less/download.html
и у Вас будет работать. :)

Название: Поиск (определение контента)
Отправлено: xmolex от 14 Июля 2006, 12:51:18

Спасибо за заботу, только у меня основная система FreeBSD. А здесь флуд начался. Лучше подскажите
почему возникает ошибка "Prototype mismatch: sub main::head: none vs ($) at robot.pl line 3". Программа работает, но почему она выводится?
На третьей строке я подгружаю модуль "use LWP::Simple;"
Вызов делаю "my($head) = head($base);".
Заранее благодарен.

Название: Поиск (определение контента)
Отправлено: arto от 14 Июля 2006, 13:03:56

а какие еще модули используются?

Название: Поиск (определение контента)
Отправлено: xmolex от 14 Июля 2006, 15:32:28

use CGI qw(:all);

Название: Поиск (определение контента)
Отправлено: arto от 14 Июля 2006, 16:37:28

main::head -- ?

Название: Поиск (определение контента)
Отправлено: xmolex от 15 Июля 2006, 10:53:07

Чего? Я так понял, что в CGI и LWP::Simple есть sub head, как быть?