Спайдер мне для индексации контента и дальнейшего поиска.
У меня сейчас часть контента в базе, а часть в файлах.
В базе так же поля с индексами по которым спайдер определяет раздел сайта и генерирует соотв. ссылки.
Спайдер смотрит в базу, берет из нее что есть (заголов новости, название рабдела), смотрит на индекс и пересыпает соответствующий файл. Убирает оттуда теги, и заносит всю "кашу" в таблицу search.
А мне хочется так сделать, чтобы спайдер вел себя как спайдер настоящий.
"Ходил" по сайту, "брал" контент, и заносил бы в таблицу контент и ссылку. Как на Yandex\'е :-).
То есть обойти процедуру запросов к базе и пересыпания файлов. Вот.
Вроде бы это хождение имитируют Header\'ом??
Подскажите, плиз.
