Программирование > Perl

LWP::RobotUA

(1/1)

koder20005:
А можно как-неибудь отключить, чтобы робот не смотрел robots.txt
???

arto:
$ua->rules
$ua->rules( $rules )

    Set/get which WWW::RobotRules object to use.

Навигация

[0] Главная страница сообщений