Статья Копируем форум Codeby

explorer

Platinum
05.08.2018
1 080
2 475
BIT
0
Всем привет!

Написание данного опуса меня сподвиг ограниченный траффик.

Как обычно на любом сайте, если материальчик мне нравился, я сохранял вэбстраничку полностью, и при необходимости смотрел оффлайн. Но на данном форуме, сохранённые таким образом страницы представляли собой неудобоваримый вариант:

screen.png



В таком случае выход конечно есть - используем аддон для браузера, и получаем красивый скриншот. Однако со скрина ведь не скопипастишь, поэтому вариант не очень чтобы очень.

В итоге я принял решение просто выкачать форум на локальный компьютер.
Ну и конечно же приходят на ум всевозможные проги для скачивания ресурсов типа ТелепортПро, Оффлайнэксплорер и т.п. Но в конечном итоге я остановился на инструменте wget. Очень гибкие настройки, работает из командной строки. Конечно утилита известная, но в копилочку у кого нет, рекомендую.

Работа с утилитой для Windows - начнём с установки, она не стандартная. Качаем софт, можно
Распаковываем архив. Потом создаем папку «wget» в «Program Files» на диске «С:» и кидаем туда всё содержимое распакованного архива.

wget.png


Если нужно скачать какой-нибудь небольшой сайт, то все манипуляции делаете на личном ПК, а форумы и большие сайты лучше копировать на дедике. Собственно я так и делал.

Жмём Windows+Pause/Breake. Далее нужно в дополнительных параметрах системы настроить переменные Patch. Дописываем «;c:\Program Files\wget» (точка с запятой обязательно), ОК.

Подготовка завершена. Теперь запускаем cmd и вводим следующую команду:

wget -r -k -l 7 -p -E -N -nc -np --no-chek-certificate -c Главная

Что за что отвечает смотрим справку, можете набрать другую команду под свои нужды. Процесс пошёл. На скачивание форума ушли целые сутки :) Объём материалов 12+Гб.
Получилась папка со следующим содержимым

wget2.png

Открываем папку форум, жмём на index.html и просматриваем странички )

wget3.png


wget4.png


Линуксоводы, не пинайте за известную темку, писалось ведь для винды заметка )
Надеюсь пригодится.
 
V

Valkiria

Написание данного опуса меня сподвиг ограниченный траффик.
Да что у тебя за проблемы с этим трафиком ?
Почему он у тебя ограничен ?
Выходишь в инет через usb модем ?
Пользуешься услугами сотовых операторов связи ?
Плохая связь ?

То что ты здесь описал - не выход, ведь на форуме ежедневно появляются новые статьи.

Может тебе проще связь наладить ?
Надеюсь , ты не из бункера пишешь эти статьи ?
 

makar

Green Team
08.09.2016
257
151
BIT
69
точно буду дома сделаю копию форума оч тиресна одна штука
 

explorer

Platinum
05.08.2018
1 080
2 475
BIT
0
Да что у тебя за проблемы с этим трафиком ?
Почему он у тебя ограничен ?
Выходишь в инет через usb модем ?
Пользуешься услугами сотовых операторов связи ?
Плохая связь ?

То что ты здесь описал - не выход, ведь на форуме ежедневно появляются новые статьи.

Может тебе проще связь наладить ?
Надеюсь , ты не из бункера пишешь эти статьи ?

Да, в инет захожу через свисток МТС, других вариантов нет, я в лесу практически живу) в нежилой деревне )
Конечно новые статьи выходят, но и того материала, что уже есть, если не поверхностно пробегать, то изучать и изучать.
 
  • Нравится
Реакции: Tihon49 и valerian38
N

n01n02h

wget -r -k -l 7 -p -E -N -nc -np --no-chek-certificate -c
Ну так ты скачаешь форум, но ссылки в библиотеке, ссылки в темах на стороние ресурсы будут не видны
Снимок экрана_2018-10-02_23-56-38.png

Так что надо авторизованым скачивать. Это кстати wget тоже может, и это повод дополнить статью
 

explorer

Platinum
05.08.2018
1 080
2 475
BIT
0
Ну так ты скачаешь форум, но ссылки в библиотеке, ссылки в темах на стороние ресурсы будут не видны
Да, часть функционала будет невидна без авторизации - аттачи, но их выкачивать нет смысла, объём просто колоссальный!
Я там и написал, чтобы под свои задачи сами подстраивали. Сутки закачка без аттачей, просто парсинг URL 6 часов (540 000 штук), с приаттаченными файлами объёма дедика не хватит :D
А ссылки на сторонние ресурсы работают прекрасно, но не под спойлером.
 
M

momentomori

не легче трафик поменять на неограниченный?) сам с модема сижу на МТС, платил 750(скорость больше, но траф ограничен, постоянно приходилось докидывать), сейчас перешел на другой тариф, плачу 600, скорость меньше(хотя я не заметил) но лимита нет
 
  • Нравится
Реакции: n01n02h
N

n01n02h

Да, часть функционала будет невидна без авторизации - аттачи, но их выкачивать нет смысла, объём просто колоссальный!
Я там и написал, чтобы под свои задачи сами подстраивали. Сутки закачка без аттачей, просто парсинг URL 6 часов (540 000 штук), с приаттаченными файлами объёма дедика не хватит :D
А ссылки на сторонние ресурсы работают прекрасно, но не под спойлером.
Ну может быть их где то и видно, но не на скачаной странице) На скрине выше видно.
 
N

n01n02h

не легче трафик поменять на неограниченный?) сам с модема сижу на МТС, платил 750(скорость больше, но траф ограничен, постоянно приходилось докидывать), сейчас перешел, плачу 600, скорость меньше(хотя я не заметил) но лимита нет
Да конечн проще)) но мы легких путей не ищем)))
Если честно я забыл как это когда трафик ограниченный))))))
 

explorer

Platinum
05.08.2018
1 080
2 475
BIT
0
не легче трафик поменять на неограниченный?) сам с модема сижу на МТС, платил 750(скорость больше, но траф ограничен, постоянно приходилось докидывать), сейчас перешел на другой тариф, плачу 600, скорость меньше(хотя я не заметил) но лимита нет
Я плачу 700 руб тариф МТС Коннект-4 Интернет VIP 30 гб в месяц. К сожалению по Вашему региону безлимита нет, у меня максимальный тариф. Специально сейчас уточнил у оператора.


А скорость хорошая
vnc.png
 

SearcherSlava

Red Team
10.06.2017
943
1 262
BIT
221
Я плачу 700 руб тариф МТС Коннект-4 Интернет VIP 30 гб в месяц. К сожалению по Вашему региону безлимита нет, у меня максимальный тариф. Специально сейчас уточнил у оператора.

А скорость хорошая
Посмотреть вложение 22634
ping 7/Mbps 30/Mbps 38 - полет нормальный
 
M

momentomori

Я плачу 700 руб тариф МТС Коннект-4 Интернет VIP 30 гб в месяц. К сожалению по Вашему региону безлимита нет, у меня максимальный тариф. Специально сейчас уточнил у оператора.


А скорость хорошая
Посмотреть вложение 22634
может и правда не везде...но я когда покупал мне тоже говорили что нет безлимита и того что есть с лихвой хватает(нет). Я наверно месяца 4 на нём и сидел, потом начал звонить на гор.линию, чет у меня со связью было и дай спрошу думаю, мне сказали цифры для смены тарифа и всё, с тех пор кайфую
 
Мы в соцсетях:

Обучение наступательной кибербезопасности в игровой форме. Начать игру!