Какой скрипт поиска по сайту на Перле самый-самый?

[Vitos]

Спасибо огромное всем, особенно Green Kakadu!
Попробую, как Вы сказали.
Удачи всем!

[NeoNox]

О, это как же ?

А очень даже просто...
Допустим у тебя есть текстовый файл pass.txt где лежит служебная информация для скриптов в корне cgi-bin.
Он содержит вот такие строчки:
-------------
login=admin
password=qwerty
-------------
Проиндексируем RiSearch-ем папку cgi-bin.
При запросе "password" будет выдан кусок/все содержимое этого файла в результате поиска.
Вот такая вот "дырдочка"... Так что поакуратнее с индексацией/поиском в cgi-bin.

[Vitos]

Подскажите, почему я запускаю spider.pl, а он индексирует только первую страницу и всё?
Пробовал уже и на Яндексе
@start_url=qw(http://www.yandex.ru/);
@allow_url=qw(http://www.yandex.ru/);

[NeoNox]

Ограничение на время исполнение скрипта... Скорее всего.
Индексация страниц 500-а нормально проходит?

[Green Kakadu]

может установить и проиндексировать его с домашнего компа, а потом базу закачать?

[Green Kakadu]

А очень даже просто...
Допустим у тебя есть текстовый файл pass.txt где лежит служебная информация для скриптов в корне cgi-bin.

в любом случае, чтоб этот файл был проиндексирован, на него должна стоять прямая ссылка мои пароли!

[NeoNox]

на него должна стоять прямая ссылка

не понял... Где она должна стоять?

[Green Kakadu]

не понял... Где она должна стоять?

И я про то же, с учетом того, что индексацию мы проводим через HTTP. Конечно, если ты про open(FILE, \'passwords,txt\')... но это вообще несерьезно, также как и индексирование кода. Просто чел-к поначалу неудачно выразился и направил нас по ложному пути

[Vitos]

Индексация страниц 500-а нормально проходит?

Это как??

Вряд ли это ограничение по времени, потому что скрипт пишет, что всё нормально, я одну страницу отиндексировал.

[NeoNox]

Это как??

Это так, что на всех халявных серверах (и там где выставлено предельное значение исполнения скриптов) скрипт index умирает на 300-400 страницах...
 

Вряд ли это ограничение по времени, потому что скрипт пишет, что всё нормально, я одну страницу отиндексировал.

А вот и не врядли...
Создай 500 (пусть одинаковых) страниц и проиндексируй их.
Посмотри на результат. Правда если у тебя будет всего 10 страниц, то вопросы снимаются...

[NeoNox]

Кстати, иногда полезно читать документацию на скрипт и ЧаВо:
http://risearch.org/rus/risearch/install.htm
Пожалуйста учтите еще одно обстоятельство: большинство вебсерверов не позволяют CGI скриптам работать более 30-60 секунд. Если за это время скрипт не закончит свою работу, сервер его просто убьет. Поэтому сайты объемом более нескольких мегабайт необходимо индексировать либо запуская скрипт через UnixShell, либо на локальной машине.

[Vitos]

Да читал я и доку и ЧаВы... Он нормально работает, сервер локальный, т.е. можно писать хоть
@start_url=qw(localhost);

Скрипты пашут до минуты - точно!

Но всё равно, не хотит он через http индексировать.

[Green Kakadu]

Но всё равно, не хотит он через http индексировать.

и ничего не кричит не ругается, даже в еррлогах?
Если рассуждать логично, то скрипт рабочий... значит проблема в тебе, сервере или в вас обоих

Попробовал такие же настройки:
@start_url=qw(http://www.yandex.ru/);
@allow_url=qw(http://www.yandex.ru/);

Все работает, страниц 20 скрипт проиндексировал, потом я его остановил. В скрипте или конфиге больше ничего не менялось?

[Vitos]

Да вроде ничего такого не менялось супер-пуперного в конфиге...
Может попробовать взять масловый конфиг и там только поменять эти 2 параметра для паука?