Лучше всего алгоритмы описаны у Кнута, купи книжку, дороговато, правда, но все окупится. А индекс запускается либо с помощью cron (оптимально), либо вручную при обновлении сайта. Убери из индекса однобуквенные слова и все предлоги как неинформативные и индекс займет не так уж много места.