Суть в том, что скрипт(или еще какая программа, например ISAPI-приложение) должен не только втупую индексирующий все файлы в каталоге, но и отслеживать ссылки. То есть уметь индексировать всякие гостевые книги, форумы etc., хранящие информацию в базах данных.
Спасибо.