столкнулся вот с какой проблемой: сделал что-то вроде паука, который ищет все ссылки на странице, добавляет их массив, а индексатор потом уже по этим ссылкам ходит и запрашивает содержимое документа и т.д.
однако в статистике сайта он не откладывается как поисковик, т.е. не идентифицируется как гугль, яндекс и т.д. это и понятно, что он не идентифицируется... а что вот нужно сделать, чтобы он представлялся серверу как поисковик? насколько я понимаю, нужно впехнуть какие-то заголовки, но какие?
