Программирование > Теория, алгоритмы и стандарты

свой поисковик

(1/2) > >>

Greg:
столкнулся вот с какой проблемой: сделал что-то вроде паука, который ищет все ссылки на странице, добавляет их массив, а индексатор потом уже по этим ссылкам ходит и запрашивает содержимое документа и т.д.

однако в статистике сайта он не откладывается как поисковик, т.е. не идентифицируется как гугль, яндекс и т.д. это и понятно, что он не идентифицируется... а что вот нужно сделать, чтобы он представлялся серверу как поисковик? насколько я понимаю, нужно впехнуть какие-то заголовки, но какие?

CGVictor:
Greg
У каждого поискового бота есть заданное значение User-agent в запросе.
Смотреть в FAQ поисковиков.

Greg:
потом, как я понимаю, можно будет "выудить" заходы своего же поисковика по user-agent?

CGVictor:
Greg
Смотря что там за статистика. Некоторые смотрят по списку агентов (тогда надо этот список найти и свой туда добавить), некоторые к тому же смотрят на наличие "bot" в строке агента... В общем, it depends.

Greg:
CGVictor
awstat

не знаешь, как он работает и где можно прописать?

Навигация

[0] Главная страница сообщений

[#] Следующая страница