• 🔥 Бесплатный курс от Академии Кодебай: «Анализ защищенности веб-приложений»

    🛡 Научитесь находить и использовать уязвимости веб-приложений.
    🧠 Изучите SQLi, XSS, CSRF, IDOR и другие типовые атаки на практике.
    🧪 Погрузитесь в реальные лаборатории и взломайте свой первый сайт!
    🚀 Подходит новичкам — никаких сложных предварительных знаний не требуется.

    Доступ открыт прямо сейчас Записаться бесплатно

Статья Копируем форум Codeby

Всем привет!

Написание данного опуса меня сподвиг ограниченный траффик.

Как обычно на любом сайте, если материальчик мне нравился, я сохранял вэбстраничку полностью, и при необходимости смотрел оффлайн. Но на данном форуме, сохранённые таким образом страницы представляли собой неудобоваримый вариант:

screen.png



В таком случае выход конечно есть - используем аддон для браузера, и получаем красивый скриншот. Однако со скрина ведь не скопипастишь, поэтому вариант не очень чтобы очень.

В итоге я принял решение просто выкачать форум на локальный компьютер.
Ну и конечно же приходят на ум всевозможные проги для скачивания ресурсов типа ТелепортПро, Оффлайнэксплорер и т.п. Но в конечном итоге я остановился на инструменте wget. Очень гибкие настройки, работает из командной строки. Конечно утилита известная, но в копилочку у кого нет, рекомендую.

Работа с утилитой для Windows - начнём с установки, она не стандартная. Качаем софт, можно
Распаковываем архив. Потом создаем папку «wget» в «Program Files» на диске «С:» и кидаем туда всё содержимое распакованного архива.

wget.png


Если нужно скачать какой-нибудь небольшой сайт, то все манипуляции делаете на личном ПК, а форумы и большие сайты лучше копировать на дедике. Собственно я так и делал.

Жмём Windows+Pause/Breake. Далее нужно в дополнительных параметрах системы настроить переменные Patch. Дописываем «;c:\Program Files\wget» (точка с запятой обязательно), ОК.

Подготовка завершена. Теперь запускаем cmd и вводим следующую команду:

wget -r -k -l 7 -p -E -N -nc -np --no-chek-certificate -c Главная

Что за что отвечает смотрим справку, можете набрать другую команду под свои нужды. Процесс пошёл. На скачивание форума ушли целые сутки :) Объём материалов 12+Гб.
Получилась папка со следующим содержимым

wget2.png

Открываем папку форум, жмём на index.html и просматриваем странички )

wget3.png


wget4.png


Линуксоводы, не пинайте за известную темку, писалось ведь для винды заметка )
Надеюсь пригодится.
 
Написание данного опуса меня сподвиг ограниченный траффик.
Да что у тебя за проблемы с этим трафиком ?
Почему он у тебя ограничен ?
Выходишь в инет через usb модем ?
Пользуешься услугами сотовых операторов связи ?
Плохая связь ?

То что ты здесь описал - не выход, ведь на форуме ежедневно появляются новые статьи.

Может тебе проще связь наладить ?
Надеюсь , ты не из бункера пишешь эти статьи ?
 
точно буду дома сделаю копию форума оч тиресна одна штука
 
Да что у тебя за проблемы с этим трафиком ?
Почему он у тебя ограничен ?
Выходишь в инет через usb модем ?
Пользуешься услугами сотовых операторов связи ?
Плохая связь ?

То что ты здесь описал - не выход, ведь на форуме ежедневно появляются новые статьи.

Может тебе проще связь наладить ?
Надеюсь , ты не из бункера пишешь эти статьи ?

Да, в инет захожу через свисток МТС, других вариантов нет, я в лесу практически живу) в нежилой деревне )
Конечно новые статьи выходят, но и того материала, что уже есть, если не поверхностно пробегать, то изучать и изучать.
 
  • Нравится
Реакции: Tihon49 и valerian38
wget -r -k -l 7 -p -E -N -nc -np --no-chek-certificate -c
Ну так ты скачаешь форум, но ссылки в библиотеке, ссылки в темах на стороние ресурсы будут не видны
Снимок экрана_2018-10-02_23-56-38.png

Так что надо авторизованым скачивать. Это кстати wget тоже может, и это повод дополнить статью
 
Ну так ты скачаешь форум, но ссылки в библиотеке, ссылки в темах на стороние ресурсы будут не видны
Да, часть функционала будет невидна без авторизации - аттачи, но их выкачивать нет смысла, объём просто колоссальный!
Я там и написал, чтобы под свои задачи сами подстраивали. Сутки закачка без аттачей, просто парсинг URL 6 часов (540 000 штук), с приаттаченными файлами объёма дедика не хватит :D
А ссылки на сторонние ресурсы работают прекрасно, но не под спойлером.
 
не легче трафик поменять на неограниченный?) сам с модема сижу на МТС, платил 750(скорость больше, но траф ограничен, постоянно приходилось докидывать), сейчас перешел на другой тариф, плачу 600, скорость меньше(хотя я не заметил) но лимита нет
 
  • Нравится
Реакции: n01n02h
Да, часть функционала будет невидна без авторизации - аттачи, но их выкачивать нет смысла, объём просто колоссальный!
Я там и написал, чтобы под свои задачи сами подстраивали. Сутки закачка без аттачей, просто парсинг URL 6 часов (540 000 штук), с приаттаченными файлами объёма дедика не хватит :D
А ссылки на сторонние ресурсы работают прекрасно, но не под спойлером.
Ну может быть их где то и видно, но не на скачаной странице) На скрине выше видно.
 
не легче трафик поменять на неограниченный?) сам с модема сижу на МТС, платил 750(скорость больше, но траф ограничен, постоянно приходилось докидывать), сейчас перешел, плачу 600, скорость меньше(хотя я не заметил) но лимита нет
Да конечн проще)) но мы легких путей не ищем)))
Если честно я забыл как это когда трафик ограниченный))))))
 
не легче трафик поменять на неограниченный?) сам с модема сижу на МТС, платил 750(скорость больше, но траф ограничен, постоянно приходилось докидывать), сейчас перешел на другой тариф, плачу 600, скорость меньше(хотя я не заметил) но лимита нет
Я плачу 700 руб тариф МТС Коннект-4 Интернет VIP 30 гб в месяц. К сожалению по Вашему региону безлимита нет, у меня максимальный тариф. Специально сейчас уточнил у оператора.


А скорость хорошая
vnc.png
 
Я плачу 700 руб тариф МТС Коннект-4 Интернет VIP 30 гб в месяц. К сожалению по Вашему региону безлимита нет, у меня максимальный тариф. Специально сейчас уточнил у оператора.

А скорость хорошая
Посмотреть вложение 22634
ping 7/Mbps 30/Mbps 38 - полет нормальный
 
Я плачу 700 руб тариф МТС Коннект-4 Интернет VIP 30 гб в месяц. К сожалению по Вашему региону безлимита нет, у меня максимальный тариф. Специально сейчас уточнил у оператора.


А скорость хорошая
Посмотреть вложение 22634
может и правда не везде...но я когда покупал мне тоже говорили что нет безлимита и того что есть с лихвой хватает(нет). Я наверно месяца 4 на нём и сидел, потом начал звонить на гор.линию, чет у меня со связью было и дай спрошу думаю, мне сказали цифры для смены тарифа и всё, с тех пор кайфую
 
Мы в соцсетях:

Взломай свой первый сервер и прокачай скилл — Начни игру на HackerLab