Усем драсте.
Есть большое желание сделать что-то вроде поискового сервера. Не гуглю конечьно, просто в пику нехорошим ребятам из bigmir.net и meta.ua. Уж больно не качественно они работают, а альтернативы им при поиске исключительно по Украине нет как таковой. Уточню сразу, что поисковый сервер будет ориентирован исключительно на Украину, не на мир.
Из имеющихся на сегодняшний день ресурсов, выделенный сервер, с трафиком анлиметед подключенный к оптоволокну (не смейтесь пожалуйста, для Украины, если вы не провайдер и не финансовый монстр это очень критичный момент). Есть общая теория работы поискового механизма, думаю что ничего нового здесь изобретено не было поэтому освещать этот момент не буду.
Первоначальная реализация планируется на php. Почему именно php? Ближайшая цель это создать рабочий прототип в котором будет реализован алгоритм работы, и который докажет работоспособность оного. Тогда уже можно будет перейти к реализации сервера на других платформах и увеличении технической базы. Оговорюсь сразу, это частный проект, он поддерживается и финансируется из собственного кармана без привлечения внешних инвестиций.
А теперь собственно сам вопрос:
Как лучше организовать обход страниц для последующего их внесения в индексную базу. Как лучше учитывать вес страницы, ее релевантность, количество ссылок на нее, вес ресурса которому принадлежит страница и т.д. и т.п.
Если кто-то уже сталкивался, или имеет теоретическую базу, или просто мысли, делитесь, не стесняйтесь, родина вас не забудет:-). Если есть вопросы, спрашивайте, уточняйте, буду стараться отвечать. Если у кого то есть предложения, иле желание поучаствовать в проекте, также милости просим, в общем буду крайне признателен за любую информацию, даже за ссылку на толковый ман :-).
