Скачать файлы используя дерево сайта HTTP, при помощи утилиты wget

Недавно я писал статью, как скачать файлы списком.

Но, что делать, если этого списка нет, а есть список каталогов структуры сайта, который можно получить по ссылке HTTP или FTP. Например http://ftp.ua.debian.org/debian/tools/

Воспользуемся «любимой» утилитой WGET.
Немного почитав инструкцию, понимаем, что нам нужно получить список по ссылке и рекурсивно его загрузить. Что значит рекурсивно? Простыми словами это значит, что нужно создать дерево каталогов и загрузить все файлы из этих каталогов.

Вот пример, для ссылки выше:
wget --random-wait -r -F http://ftp.ua.debian.org/debian/tools/

После выполнения данной команды, Вы получите точную копию папки /debian/tools со всеми файлами.

П.С. --random-wait добавляется для того, чтоб вставлять случайную задержку перед началом загрузки каждого файла. Так Вы не создадите постоянную нагрузку и не будете отфильтрованы автоматическим фильтром хостинг провайдера.

Как скачать файлы списком?

Как скачать файлы списком

Как скачать файлы списком?

Задача не частая, но иногда нужная. Например, у Вас есть список ссылок на музыкальные файлы или видео, или программы, или на любую другую информацию разделённую на отдельные файлы.

В моём случае, появился интерес скачать сборник музыки с сайта FS.UA.

А так как я ленивый и не хочу 1000 раз нажать на кнопочку скачать, забыв при этом раз 20, что я скачивал, а что нет, сам по себе возник вопрос — Как скачать файлы списком?

Будь я в операционной системе Linux, я бы воспользовался очень полезной утилитой wget.
Сохранив файл со списком себе на диск, просто выполнил бы команду
wget -i файл-список.txt
и утилита wget всё сделала бы за меня. Но, к сожалению, эту задачу мне нужно было выполнить на компьютере с операционной системой Windows 7. Где утилита wget просто отсутствует.

Как же скачать файлы списком в Windows?


Читайте под катом, как скачать файлы списком в Windows?...