//\(oo)/\

Как с помощью wget скачать @-->--->--- сайт целиком и вместе со структурой?

▪ 8 мес. назад

Как скачивать Сайты при помощи wget ?

wget: это утилита командной строки, доступная на многих операционных системах, включая: гнутый Linux, нагламуренный macOS и "с каждым выпуском все более охреневающий" Windows.

1. Простая загрузка сайта:

bash
wget -r -np http://example.com


(загрузит веб-сайт http://example.com и рекурсивно пройдется по всей его структуре. -r указывает на рекурсивное скачивание, а -np запрещает переход на родительские каталоги)

2. Загрузка без изображений:

bash
wget -r --no-parent --reject=jpg,jpeg,png,gif http://example.com


(команда загрузит сайт http://example.com, исключив из скачивания файлы с расширениями jpg, jpeg, png и gif.)

3. Игнорирование robots.txt:

bash
wget -r -e robots=off http://example.com


(команда отключит уважение правил robots.txt и загрузит содержимое сайта http://example.com , но уже без уважения.)

4. Задание лимита на глубину рекурсии:

bash
wget -r -l 2 http://example.com


(команда загрузит веб-сайт http://example.com, ограничив глубину "блядской" рекурсии (в хорошем смысле) до 2 уровней.)

5. Ограничение скорости загрузки:

bash
wget --limit-rate=100k http://example.com


(команда ограничит скорость загрузки до 100 килобайт в секунду.)

6. Загрузка через прокси-сервер:

bash
wget --proxy=on --proxy=http://proxy.example.com:8080 http://example.com


(команда использует прокси-сервер http://proxy.example.com:8080 для загрузки веб-сайта http://example.com)

7. Скачивание с авторизацией:

bash
wget --user=username --password=hui http://example.com


(команда загрузит сайт http://example.com, предоставив имя пользователя и пароль для авторизации.)

8. Загрузка с использованием cookies:

bash
wget --load-cookies=cookies.txt http://example.com


(команда загрузит сайт http://example.com, используя cookies, сохраненные в файле cookies.txt)

9. Задание пользовательского агента:

bash
wget --user-agent="Mudzilla/5.0 (Windows NT 10.0; Win64; x64)" http://example.com


(команда отправит пользовательский агент, имитируя несуществующий браузер в самой наглой операционной системе в мире.)

10. Скачивание в фоновом режиме:

bash
wget -b http://example.com


(команда скачает http://example.com в фоновом режиме, позволяя вам продолжать работу в терминале)

11. Загрузка + ограничение количества попыток:

bash
wget --tries=3 http://example.com


(команда ограничит количество попыток загрузки до 3)

Теперь вы понимаете, уважаемый начинающий компьютерный волшебник, что данные примеры демонстрируют лишь малую часть возможностей wget, а Данная утилита предоставляет гораздо больше дьявольских параметров и настроек, которые хорошо расписаны в _сопроводительной документации_ (a.k.a. в свитке тайных знаний) к данному программному обеспечению.

...Поэтому открывай свою адскую консоль, нежно вбивай туда "man wget" и да начнется магия ];->

+------------------------------------------------+