Forum Webscript.Ru

Программирование => PHP => Тема начата: Sniper от 17 Июня 2004, 11:05:25

Название: spyder для своего сайта
Отправлено: Sniper от 17 Июня 2004, 11:05:25
Значит так.
У меня на сайте есть поиск. На сайте инфа часть в базе, а часть в файлах, причем ссылки на эти файлы в базе (MySQL).
Работает так: запускаю раз в сутки робота, который;
"Перебирает" все файлы, ищет их имена в базе, "просит" у базы эти имена, и в соответствии с результатом запросов, формирует ссылку на раздел сайта и заносит все это (ссылку на раздел и содержимое файлов) в таблицу search.
А уже из этой таблицы - поиск по сайту.

Работает это (робот) неплохо, но громоздкий слижжжжком, если что меняется (структура сайта) - просто мрак! приходится много переписывать в роботе.

Внимание, вопрос. Можно ли средствами ПХП написать робота а-ля Яндех? То есть, чтобы он "просто" ходил по сайту как юзерь (руководствуясь только меню) и заносил бы все из адрессной строки и результаты в базу.
Название: spyder для своего сайта
Отправлено: Neter от 17 Июня 2004, 12:14:56
Ответ знатоков: Можно :)
Название: spyder для своего сайта
Отправлено: pauk от 17 Июня 2004, 12:34:07
Цитировать
Sniper:
Можно ли средствами ПХП написать робота а-ля Яндех?

Если разработчики Яндекс осилили, то значит можно, для одного сайта это сделать даже проще
Название: spyder для своего сайта
Отправлено: Sniper от 17 Июня 2004, 20:49:36
Neter
Цитировать
Ответ знатоков: Можно

ты наверное подабатываешь экономическим аналитиком - абсолютно точный и совершенно бесполезный ответ.

pauk
Цитировать
Если разработчики Яндекс осилили, то значит можно, для одного сайта это сделать даже проще

Если движок я ндекса написан на ПХП, то я цветной телевизор.
Название: spyder для своего сайта
Отправлено: Neter от 17 Июня 2004, 23:54:34
Цитировать
Sniper:
ты наверное подабатываешь экономическим аналитиком

Догадливый :) Ты - спросил, я - ответил, думать за тебя и рассказывать как его написать я не буду.

Цитировать
Sniper:
Если движок я ндекса написан на ПХП, то я цветной телевизор.

Ну не цветной.. но.. кхм.. На РНР его тоже можно написать.  Ключевым фактором здесь является скорость, но для одного сайта это не кретично.
Название: spyder для своего сайта
Отправлено: CGVictor от 19 Июня 2004, 12:40:40
Госспооди!
Скрипт:
- открывает страницу
- собирает с нее все ссылки
- удаляет проверенные
- удаляет лево-доменные
- индексирует страницу
- переходит к следующей
Что непонятного? Пишут - в другом разделе!