Скрипт поиска

[Jan]

надо еще учитывать скорость соединения (если сайт удаленный)

Сайт находится на моём компе, поэтому скорость соединения я не учитываю, т.к. = 0

[Dm]

вот именно, 0!
все-таки нужно производительность web-сервера проверить.
возможно, плохо написанные скрипты могут тормозить процесс индексирования.

Небольшой тест. Динамического сайта у меня нет, поэтому проверялось на статике. 837 файлов, 40 Мб (много больших текстовых файлов).

При индексации напрямую с диска - 1 мин 37 сек
При индексации через вебсервер - 2 мин 00 сек

То есть, даже в этом случае (совсем немного статических файлов) запрос файлов через вебсервер (локальный) занимает значительно больше времени. Естественно, при индексировании динамического сайта разница может быть в несколько раз больше.

ЗЫ Я сомневаюсь, что другие скрипты будут быстрее. Разве что Яндекс купить...

[Jan]

2 RiSearcher
Всё было бы хорошо, но мой ресурс обновляется каждый день. В контенте сайта сотни ссылок на другие ресурсы. И, мне так кажется, что spider лезет по всем ссылкам
А особенно это касается форума.

Еще раз говорю: не должен он лезть на другие ссылки. Либо конфиг на мыло, с подробным описанием проблемы. Иначе это все бессмысленный разговор. Если там есть глюк, то нужно указать, при каких именно параметрах он проявляется, иначе я не могу его исправить, потому что у меня этого глюка не наблюдается.

[Green Kakadu]

ЗЫ Я сомневаюсь, что другие скрипты будут быстрее. Разве что Яндекс купить...

это точно.
похоже этот топик пора в CGI переносить (и вроде бы, по Risearch что-то аналогичное было - тоже проблема была в том, что в конфиге что-то неверно прописали)