Автор Тема: свой поисковик  (Прочитано 7637 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Greg

  • пинёг
  • Ветеран
  • *****
  • Сообщений: 618
  • +0/-0
  • 2
    • Просмотр профиля
    • http://www.bsfera.ru
свой поисковик
« : 23 Мая 2006, 09:11:35 »
столкнулся вот с какой проблемой: сделал что-то вроде паука, который ищет все ссылки на странице, добавляет их массив, а индексатор потом уже по этим ссылкам ходит и запрашивает содержимое документа и т.д.

однако в статистике сайта он не откладывается как поисковик, т.е. не идентифицируется как гугль, яндекс и т.д. это и понятно, что он не идентифицируется... а что вот нужно сделать, чтобы он представлялся серверу как поисковик? насколько я понимаю, нужно впехнуть какие-то заголовки, но какие?
Пространные размышления об ИТ и все что вокруг

Оффлайн CGVictor

  • теперь местный
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 2511
  • +0/-0
  • 2
    • Просмотр профиля
    • http://cg.net.ru
свой поисковик
« Ответ #1 : 23 Мая 2006, 13:53:39 »
Greg
У каждого поискового бота есть заданное значение User-agent в запросе.
Смотреть в FAQ поисковиков.
LJ: Backslashed life (rss)

Оффлайн Greg

  • пинёг
  • Ветеран
  • *****
  • Сообщений: 618
  • +0/-0
  • 2
    • Просмотр профиля
    • http://www.bsfera.ru
свой поисковик
« Ответ #2 : 26 Мая 2006, 10:21:25 »
потом, как я понимаю, можно будет "выудить" заходы своего же поисковика по user-agent?
Пространные размышления об ИТ и все что вокруг

Оффлайн CGVictor

  • теперь местный
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 2511
  • +0/-0
  • 2
    • Просмотр профиля
    • http://cg.net.ru
свой поисковик
« Ответ #3 : 26 Мая 2006, 12:20:58 »
Greg
Смотря что там за статистика. Некоторые смотрят по списку агентов (тогда надо этот список найти и свой туда добавить), некоторые к тому же смотрят на наличие "bot" в строке агента... В общем, it depends.
LJ: Backslashed life (rss)

Оффлайн Greg

  • пинёг
  • Ветеран
  • *****
  • Сообщений: 618
  • +0/-0
  • 2
    • Просмотр профиля
    • http://www.bsfera.ru
свой поисковик
« Ответ #4 : 26 Мая 2006, 16:03:43 »
CGVictor
awstat

не знаешь, как он работает и где можно прописать?
Пространные размышления об ИТ и все что вокруг

Оффлайн CGVictor

  • теперь местный
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 2511
  • +0/-0
  • 2
    • Просмотр профиля
    • http://cg.net.ru
свой поисковик
« Ответ #5 : 26 Мая 2006, 18:12:54 »
Greg
Что-то связанное с robot.pm...точнее не скажу.
LJ: Backslashed life (rss)

Оффлайн sunswordrie

  • Заглянувший
  • Новичок
  • *
  • Сообщений: 12
  • +0/-0
  • 0
    • Просмотр профиля
    • http://www.elantech.ru
свой поисковик
« Ответ #6 : 09 Июня 2006, 20:01:38 »
Greg
Тоже задался целью написать агента для http , не подскажешь , как его разрабатывал и на чём?
Аутсорсинг ИТ , Web-разработка

 

Sitemap 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28