Значит так.
У меня на сайте есть поиск. На сайте инфа часть в базе, а часть в файлах, причем ссылки на эти файлы в базе (MySQL).
Работает так: запускаю раз в сутки робота, который;
"Перебирает" все файлы, ищет их имена в базе, "просит" у базы эти имена, и в соответствии с результатом запросов, формирует ссылку на раздел сайта и заносит все это (ссылку на раздел и содержимое файлов) в таблицу search.
А уже из этой таблицы - поиск по сайту.
Работает это (робот) неплохо, но громоздкий слижжжжком, если что меняется (структура сайта) - просто мрак! приходится много переписывать в роботе.
Внимание, вопрос. Можно ли средствами ПХП написать робота а-ля Яндех? То есть, чтобы он "просто" ходил по сайту как юзерь (руководствуясь только меню) и заносил бы все из адрессной строки и результаты в базу.
