просто там нет папок, папки на дисках, а сервер выдает только их url-лы.
если собираешься читать через http "дерево" - надо что бы сервер выдавал листинг и из него уже выдерать url-лы папок, шастать по ним для получения url-ов файлов и т.д.
Проще структуру через ftp вытянуть, буквально несколько сотен байт кода.