Здравствуйте уважаемые коллеги.
Работаю сейчас над разработкой поисковой машины. Когда анализируешь страницы на ссылки, попадаются адреса скриптов, которые кидают тебя на скачивание файлов. Но качать файлы программа не должна. Существует ли какой-нибудь метод для определения, что мы качаем текст (html) или бинарник?
Не знаю даже где искать (наверное слова не те подобрал для поисковика), может кто ссылочку подкинет или опытом поделится. Заранее благодарен.