requests

Прежде чем перейти к самому скрипту, стоит сказать пару слов о специфике парсинга именно динамических сайтов через Selenium. В отличие от простых HTTP-запросов через requests, здесь браузер реально рендерит страницу, выполняет JavaScript и подгружает контент по мере скролла или кликов — а...

Прежде чем переходить к коду, стоит пояснить, что вообще делает Wappalyzer. Это инструмент, который определяет технологический стек сайта — CMS, фреймворки, серверное ПО, аналитику, CDN и прочие сервисы. Работает он не только по анализу HTML-кода страницы, но и по HTTP-заголовкам, файлам cookie...

Прежде чем переходить к коду, стоит отдельно оговорить юридическую сторону вопроса. Сбор данных с открытых страниц сам по себе не запрещён, но ситуация меняется, если речь идёт о персональных данных — а номер телефона и имя пользователя как раз к ним относятся. Массовый сбор, хранение и тем...

Загрузка файлов из интернета — это всегда интересная задача. Конечно, в нынешнее время, когда скорости соединения переваливают за сотню мегабит в секунду, это вопрос не такой актуальный, как раньше. Мне стало интересно потестировать скорость загрузки файлов и изображений с разных сайтов с...

Парсинг данных, это всегда увлекательная и полезная штука, ведь получив данные мы можем выполнить различные виды анализа или использовать полученные данные в нужных приложениях, будь то телеграмм-бот или иное приложение. В марте этого года на сайте фриланса fl.ru мне попалось задание, которое...

Прежде чем перейти к коду, стоит уточнить терминологию, которую многие путают. Классический Boolean-based Blind SQL Injection строится на том, что приложение возвращает разное содержимое или поведение страницы в зависимости от истинности логического условия (true/false) — без каких-либо...

Загрузка видео на локальный диск, это дело хорошее. Потому, что у любого контента в интернете есть не очень хорошее свойство — рано или поздно он попросту теряется, либо его удаляют. Я немного покопался в коде страничек ВК и сделал небольшой скрипт, который загружает видео. А использовал я для...

Стоит сразу оговориться: разобранный ниже метод с requests и BeautifulSoup отлично работает для статичных страниц, где нужные данные уже лежат в HTML-коде ответа сервера. Но если ресурс подгружает контент через JavaScript (например, динамическую пагинацию, ленивую загрузку блоков или данные...

Данная заметка не о том, как парсить социальные сети, а о том, что я обнаружил в социальной сети «Мой Мир Mail.ru». Эта сеть родом из 2007 года до сих пор находиться в перманентно активном состоянии. Более того, в 2019 она была обозначена владельцем как нишевый проект. Но, тем не менее, это не...

C:\root> python -m pip uninstall requests Not uninstalling requests at /usr/lib/python2.7/dist-packages, outside environment /usr Can't uninstall 'requests'. No files were found to uninstall. C:\root> python -m pip install requests Requirement already satisfied: requests in...

Ребята, я хочу чтоб мой терминал linux быстро подключался и быстро разбеденялся к сайту ,а также выводил статус кода. Я все это написал на Python и теперь хочу все это написать на Shell Вот питонический вариант кода: import requests from time import sleep...

Приветствую всех специалистов и заинтересованных Информационной Безопасностью на этом замечательном ресурсе. Продолжаю свой цикл статей по изучению языков программирования. С публикации моей последней статьи прошло ~2 месяца и в обсуждении к ней я пообещал написать новый скрипт/программу...