GNU Wget — свободная неинтерактивная консольная программа для загрузки файлов по сети. Поддерживает протоколы HTTP, FTP и HTTPS, а также поддерживает работу через HTTP прокси-сервер. Программа включена почти во все дистрибутивы GNU/Linux.
Глобально /etc/wgetrc
Для пользователя ~.wgetrc
http_proxy = http://proxy:3128 https_proxy = http://proxy:3128 ftp_proxy = http://proxy:3128 use_proxy = on
Скачать содержимое папки и всех вложенных папок, при этом не поднимаясь по иерархии выше:
wget -r --no-parent http://example.org/~user/my-archive/