Использование wget

wget -P /home/user http://site.dom/files/file.dat

Параметр -P позволяет сохранять скачаный файл сохранять в любой каталог, здесь в /home/user

wget -i /home/user/url.dat 

Параметр -i позволяет произвести закачку всех ссылок, сохраненных в файле /home/user/url.dat

wget --user=login --password=password ftp://site.dom/files/file.dat

Программа wget умеет автоматически подставлять логин и пароль при необходимости.

wget -b http://site.dom/files/file.dat

Скачивание файла в фоновом режиме.

wget -c http://site.dom/files/file.dat

Парметр -c позволяет производить докачку ранее недокаченого файла.

Полная копия сайта

wget -r -l0 -k http://site.dom/

-r - этот параметр заставляет автоматически находить ссылки на файлы и скачивать их (рекурсивный обход)

-l0 - глубина закачки ссылок, здесь использавана нулевая глубина, которая закачает весь сайт, если мы поставим параметр -l 5 , то сайт скачается только до 5 уровня ссылок.

-k - преобразует все ссылки в документах html в локальные ссылки, которые можно просматривать локально.

Следует отметить что, Wget при рекуррентном скачивании учитывает протокол Web-роботов, и пропускает часть файлов запрещенных в файле robots.txt. Чтобы отключить эту функцию используется ключ

-e robots=off