Разное > Флейм
wget и robots.txt
Xander:
никто не знает, нельзя сделать так, чтобы wget не реагировал на
User-agent: Wget
Disallow: /
?
А то некоторые веб-мастера, они такие умные...
Yukko:
Xander
прочитай внимательно wget --help HTTP options:
HTTP options:
--http-user=USER set http user to USER.
--http-passwd=PASS set http password to PASS.
-C, --cache=on/off (dis)allow server-cached data (normally allowed).
-E, --html-extension save all text/html documents with .html extension.
--ignore-length ignore `Content-Length\' header field.
--header=STRING insert STRING among the headers.
--proxy-user=USER set USER as proxy username.
--proxy-passwd=PASS set PASS as proxy password.
--referer=URL include `Referer: URL\' header in HTTP request.
-s, --save-headers save the HTTP headers to file.
-U, --user-agent=AGENT identify as AGENT instead of Wget/VERSION.
--no-http-keep-alive disable HTTP keep-alive (persistent connections).
--cookies=off don\'t use cookies.
--load-cookies=FILE load cookies from FILE before session.
--save-cookies=FILE save cookies to FILE after session.
Yukko:
[OFF] а че во флейм-то???[/OFF]
Xander:
Yukko
ну и где здесь строчка ignore robots.txt?
заменять user-agent я пробовал, не помогает.
Вот, собственно, URL, который я ытался слить:
http://clubpro.spb.ru/cominside/
а во флейм потому что не решил, куда это точнее определить.
Yukko:
Это... сразу не догнал... извини, берем wget и запускаем его вот таким образом:
wget -m -np --output-file=output --execute robots=off -d -S -T3 -s --user-agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; FunWebProducts)" --header="Accept-Encoding: gzip, deflate" http://clubpro.spb.ru/cominside/
Можно еще добавить:
-p, --page-requisites
Чтобы получить картинки для просмотра в оффлайне, но я не пробовал, а так та строка, которую я тебе привел, выгребает с сайта все, сам пробовал!
Навигация
Перейти к полной версии