Проблема при загрузке страницы

[Suffer]

Пытаюсь загрузить страницу с указанным URL в память с помощью fopen() (или file()) и потом сохранить в своем файле. Многие страницы загружаются (например http://www.php.net или webscript.ru), но некоторые считываются неправильно. Вместо кода HTML загружаются какие-то значки (что-то типа ‹      _V_oЪVП§ёs). Кто-нибудь знает почему? Может быть там какая-нибудь защита установлена?

[FILA]

Suffer
ИМХО , это наверное XML - страницы.... может быть?
:-)

[Suffer]

Да нет, вроде бы, не XML.
http://aaa.bbb.ru/ccc.pl?d=e&f=g - что-то такое

[semya]

Suffer

что-то такое

а что там? по ссылке отдается обычный хтмл...

возможно на некоторых сайтах стоит защита от автоматизированных запросов... можешь например проверить гугл, он если напрямую (теми способами, что ты упомянул) задать ему какой-либо поиск, т есть передать в строке запрос, выдаст тебе все равно главную страницу, так они защищаются от всяких анализаторов... но и это обходится, дай конкретно ссылку, по которой не работает забирание содержимого... или эмулируй браузер, возможно выручит

[FILA]

или эмулируй браузер,

реальное замечание
можно открыть сокетное и предать туда User Agent ну и всё остальное как положено - метод, протокол etc

и покажи , действительно, ТО,ЧТО не читается РЕАЛЬНО

[Меняздесьдавнонет]

какие у людей проблемы-то, а?
"С некоторых сайтов ворую контент свободно, а с некоторых не получается. Поможите, люди добрые!"

[AlieN]

может дело в кодировке страниц?

[Suffer]

Вот эта ссылка:
http://suncity.combats.ru/zayavka.pl?filter=Suffer&logs=1

Если считываю эту же страницу, но без параметров, то все нормально работает.

semya:
>возможно на некоторых сайтах стоит защита от >автоматизированных запросов...

Скорее всего так и есть, но тут не главная страница выдается, а фигня какая-то.

И еще один вопрос. Как эмулировать браузер? Дайте мне какую-нибудь ссылку на эту тему, please.

[Меняздесьдавнонет]

гы!
а за прокачку-то тебе знаешь, что светит? ;-)

[Suffer]

RomikChef:
гы!
а за прокачку-то тебе знаешь, что светит? ;-)

А при чем тут прокачка то? Просто хочу анализатор логов для себя сделать

[semya]

Suffer
можешь написать эмулятор самостоятельно, но я советую Snoopy - http://snoopy.sourceforge.net

[F.A.K.K.2]

semya
Большое спасибо за Snoopy!

[F.A.K.K.2]

Только вот есть ли Snoopy под Windows?
Или это просто сырец, которому нужен только PHP?

[semya]

F.A.K.K.2
это просто класс на пхп, который за тебя по сокетам раскидывает и сортирует полученную инфу в уподобающий вид... но кстати я заметил, что если напрямую file() или fopen() открываешь тот же гугл с результатми поиска: то под юнихом отдает главную страницу - якобы защита, а под виндой - все ок, защита не срабатывает. снупи - все это хавает на ура!

[F.A.K.K.2]

semya
Радует.
Т.е. я говорю снупи куда идти, что отсылать, а он мне резутаты отдает?