           _           _              _     
 _ __ ___ | |__   ___ | |_ _v.3.204b | |___ 
| '__/ _ \| '_ \ / _ \| __/ _ \ / _ \| / __|
| | | (_) | |_) | (_) | || (_) | (_) | \__ \
|_|  \___/|_.__/ \___/ \__\___/ \___/|_|___/
                          B Y 🐾   😹 K O X A 🙀😻

HOME > [ЦЕНЫ] [ВХОД]

[BLOG] [BOARD] [LINKS] [ABOUT]

[ящик для идей] [SOFT]

.:BL__:▪

+-------------------------------------------+

Как с помощью wget скачать сайт целиком и со структурой

(4 недели назад)

Как Выкачивать Сайты с wget

В наше время Интернет является огромным хранилищем информации. Однако, иногда вам может потребоваться получить локальную копию веб-сайта целиком для анализа, архивирования или других целей. В этой статье мы рассмотрим инструмент wget и его возможности для загрузки веб-сайтов целиком.

wget - это утилита командной строки, доступная на многих операционных системах, включая Linux, macOS и Windows (при помощи Cygwin). Она предоставляет богатые возможности для загрузки файлов и веб-сайтов, и включает в себя множество параметров для настройки процесса загрузки. Давайте рассмотрим несколько примеров использования wget для загрузки веб-сайтов целиком.

1. Простая загрузка сайта:

bash

wget -r -np http://example.com

Эта команда загрузит веб-сайт http://example.com и рекурсивно пройдется по всей его структуре. Параметр -r указывает на рекурсивное скачивание, а -np запрещает переход на родительские каталоги.

2. Загрузка без изображений:

bash

wget -r --no-parent --reject=jpg,jpeg,png,gif http://example.com

Эта команда загрузит сайт http://example.com, исключив из скачивания изображения с расширениями jpg, jpeg, png и gif.

3. Игнорирование robots.txt:

bash

wget -r -e robots=off http://example.com

Эта команда отключит уважение правил robots.txt и загрузит содержимое сайта http://example.com без ограничений.

4. Задание лимита на глубину рекурсии:

bash

wget -r -l 2 http://example.com

Эта команда загрузит веб-сайт http://example.com, ограничив глубину рекурсии до 2 уровней.

5. Ограничение скорости загрузки:

bash

wget --limit-rate=100k http://example.com

Эта команда ограничит скорость загрузки до 100 килобайт в секунду.

6. Загрузка через прокси-сервер:

bash

wget --proxy=on --proxy=http://proxy.example.com:8080 http://example.com

Эта команда использует прокси-сервер http://proxy.example.com:8080 для загрузки веб-сайта http://example.com.

7. Скачивание с авторизацией:

bash

wget --user=username --password=password http://example.com

Эта команда загрузит сайт http://example.com, предоставив имя пользователя и пароль для авторизации.

8. Загрузка с использованием cookies:

bash

wget --load-cookies=cookies.txt http://example.com

Эта команда загрузит сайт http://example.com, используя cookies, сохраненные в файле cookies.txt.

9. Задание пользовательского агента:

bash

wget --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64)" http://example.com

Эта команда отправит пользовательский агент, имитируя браузер Windows 10.

10. Скачивание в фоновом режиме:

bash

wget -b http://example.com

Эта команда скачает сайт http://example.com в фоновом режиме, позволяя вам продолжить работу в терминале.

11. Загрузка с ограничением количества попыток:

bash

wget --tries=3 http://example.com

Эта команда ограничит количество попыток загрузки до 3.

Эти примеры демонстрируют лишь малую часть возможностей wget. Данная утилита предоставляет множество параметров и настроек для более точной настройки процесса загрузки веб-сайтов.

+----------------- [OK] --------------------+

< <home> >

*OБЗОР [+АКК]*

⧝ SITE IS USING $COOKIES & CURSORS #^_^#

Made with &>

ТГ