В случае HTTP побегание по дозволенным папкам следует понимать как скачивание всего сайта начиная с главной страницы и следуя далее по ссылкам (если показ списка файлов запрещен).
Я не понимаю, какой ответ ты хочешь получить? Ты и сам все прекрасно знаешь, что можно, а что нельзя. Или ты надеешься, что тут тебе подскажут способ как получить список всех файлов на сервере? А еще лучше не только список, но и сами файлы:)
P.S. Слухи о том, что Гугль выдавал в результатах поиска конфиденциальные документы говорят не о том, что у Гугль знает какой-то секрет, а о том, что вебмастера тех сайтов облажались. Причем есть разные способы облажаться. Например, достаточно положить документ куда-нибудь в пределах видимости вебсервера (но нигде не делать ссылку на него) и запросить этот документ через прокси. А где-нибудь может оказаться ссылка на логи этого прокси (я достаточно регулярно натыкаюсь в результатах поиска на различные логи). Или запросить документ с включенным гугльбаром и Гугль узнает об этом документе. Не говоря уже про разрешение показа индекса директории.