К черту selenium

[Vlg]

Hello, world!
Итак, как вы поняли я не хочу использовать selenium в своих скриптах, так как он "тяжёлый", да и установить на termux не могу из-за cryptography.
Идея в том чтоб получить полный html из сайта без использования selenium. requests делаем подключение и получаем html. BeautifulSoup формирует это все и с помощью find_all() находим все теги <script>. Запускаем json или что то вроде того и запускаем все полученные скрипты.
Ну... Это все в моем представлении. Если есть лучше идеи, главное без selenium, то предлагайте.

 

[Dart Moore]

А вопрос зачем тебе запускать js?
Плюс сайт если на писан на node js скорее всего только selenium и поможет, но по крайней мере я не встречал других библиотек которые могут дожидаться прогрузки сайта, а адрес сайта есть?

 

[Vlg]

А вопрос зачем тебе запускать js?
Плюс сайт если на писан на node js скорее всего только selenium и поможет, но по крайней мере я не встречал других библиотек которые могут дожидаться прогрузки сайта, а адрес сайта есть?

Я предлагаю вытащить скрипты с html. Отдельно их выполнить в js и вывод воткнуть в html.
Адрес, да это вообще не важно. Можно взять 4it.me

А вопрос зачем тебе запускать js?
Плюс сайт если на писан на node js скорее всего только selenium и поможет, но по крайней мере я не встречал других библиотек которые могут дожидаться прогрузки сайта, а адрес сайта есть?

А библиотекой... Можно использовать Naked

 

[Dart Moore]

Я предлагаю вытащить скрипты с html. Отдельно их выполнить в js и вывод воткнуть в html.
Адрес, да это вообще не важно. Можно взять 4it.me

Спарсить то можно,
через requests получить код сайта, через bs4 отфильтровывають scripts
А дальше можно сохранить в html, и после открывать в ручную.

 

[Vlg]

Спарсить то можно,
через requests получить код сайта, через bs4 отфильтровывають scripts
А дальше можно сохранить в html, и после открывать в ручную.

да, но мне нужен полный сайт. Для этого мне нужно выполнить js, но без selenium. Вот и предлагаю отпарсить все скрипты и выполнить отдельно, а вывод воткнуть на место. Но! Но как это сделать я не знаю.

 

[Vladislav Orlov]

Какая же у тебя ава сочная, даже текст не охота читать

 

[Ir0n man]

Cryptography можно установить в термукс, если внимательно прочесть сообщения об ошибках и следовать инструкциям)

Сложности начинаются с запуском движка

 

[Vlg]

Cryptography можно установить в термукс, если внимательно прочесть сообщения об ошибках и следовать инструкциям)Посмотреть вложение 59775
Сложности начинаются с запуском движка

Нет уж ки. Я загорелся желанием сделать без selenium. И я найду этот вариант. А selenium пусть катится к ЧЁРТУ!

 

[Ir0n man]

Нет уж ки. Я загорелся желанием сделать без selenium. И я найду этот вариант. А selenium пусть катится к ЧЁРТУ!

Не думаю, что это возможно на питоне. Есть модуль requests-html но ему нужен pyppetear. Проще сразу на node.js писать весь код, кмк.

 

[TR1X]

Если я правильно понял автора, есть програмки специальные, можно спарсить и скачать весь фронт с сайта со скритами имейджами цсс и тд. Использовал когда-то.

 

[Darkness777]

Cryptography можно установить в термукс, если внимательно прочесть сообщения об ошибках и следовать инструкциям)Посмотреть вложение 59775
Сложности начинаются с запуском движка

Чувак, пожалуйста, помоги установить cryptography и selenium.
Буду очень благодарен.

 

[Vlg]

Чувак, пожалуйста, помоги установить cryptography и selenium.
Буду очень благодарен.

Покажи коды ошибок

 

[Ondrik8]

"К черту selenium" дерзко )) вот как вариант... Node-js

 

[Ir0n man]

Чувак, пожалуйста, помоги установить cryptography и selenium.
Буду очень благодарен.

Я не помню, как cryptography устанавливал.
Попробуй установить с флагом -v, в аутпуте будет написано, чего ему не хватило для установки.
Насчет селениума, у меня так и не получилось его запустить, возможно делал что-то неправильно, но я нашел несколько другое решение.

GitHub - luanon404/seledroid

Contribute to luanon404/seledroid development by creating an account on GitHub.

github.com

 

[Ir0n man]

"К черту selenium" дерзко )) вот как вариант... Node-js

Nodejs + puppeteer. Puppeteer в termux ты просто так не запустишь, а по итогу тот же headless браузер нужен.