====== WGET ======
----
Использование **wget**

<file bash>wget -P /home/user http://site.dom/files/file.dat</file>
Параметр -P позволяет сохранять скачаный файл сохранять в любой каталог, здесь в /home/user

<file bash>wget -i /home/user/url.dat </file>
Параметр -i позволяет произвести закачку всех ссылок, сохраненных в файле /home/user/url.dat

<file bash>wget --user=login --password=password ftp://site.dom/files/file.dat</file>
Программа wget умеет автоматически подставлять логин и пароль при необходимости.
<file bash>wget -b http://site.dom/files/file.dat</file>
Скачивание файла в фоновом режиме.
<file bash>wget -c http://site.dom/files/file.dat</file>
Парметр -c позволяет производить докачку ранее недокаченого файла.


Полная копия сайта
<file bash>wget -r -l0 -k http://site.dom/</file>

-r - этот параметр заставляет автоматически находить ссылки на файлы и скачивать их (рекурсивный обход)

-l0 - глубина закачки ссылок, здесь использавана нулевая глубина, которая закачает весь сайт, если мы поставим параметр -l 5 , то сайт скачается только до 5 уровня ссылок.

-k - преобразует все ссылки в документах html в локальные ссылки, которые можно просматривать локально.

Следует отметить что, Wget при рекуррентном скачивании учитывает протокол Web-роботов, и пропускает часть файлов запрещенных в файле robots.txt.
Чтобы отключить эту функцию используется ключ
<file bash>-e robots=off</file>