beautifulsoup

Нужно ли пентестеру программирование? (Спойлер: да!) Пентест — это процесс тестирования систем на уязвимости, ключевая часть работы в сфере информационной безопасности (ИБ). Но многие начинающие и даже опытные пентестеры задаются вопросом: действительно ли нужно глубоко разбираться в...

Стоит сразу оговориться, что описанный ниже подход — не единственный способ узнать владельца ASN или диапазона IP. Помимо локальной базы, которую мы будем парсить и хранить у себя, существуют готовые онлайн-сервисы для ASN Lookup, а также библиотеки вроде aslookup, которые получают данные «на...

Прежде чем переходить к коду, стоит отдельно оговорить юридическую сторону вопроса. Сбор данных с открытых страниц сам по себе не запрещён, но ситуация меняется, если речь идёт о персональных данных — а номер телефона и имя пользователя как раз к ним относятся. Массовый сбор, хранение и тем...

Прежде чем перейти к разбору, стоит понимать, почему именно Scrapy выбирают для серьёзных задач сбора данных. В отличие от простых библиотек, он работает асинхронно, то есть может обрабатывать сразу множество запросов, не дожидаясь ответа от каждого сайта по очереди — это заметно ускоряет...

Загрузка видео на локальный диск, это дело хорошее. Потому, что у любого контента в интернете есть не очень хорошее свойство — рано или поздно он попросту теряется, либо его удаляют. Я немного покопался в коде страничек ВК и сделал небольшой скрипт, который загружает видео. А использовал я для...

Стоит сразу оговориться: разобранный ниже метод с requests и BeautifulSoup отлично работает для статичных страниц, где нужные данные уже лежат в HTML-коде ответа сервера. Но если ресурс подгружает контент через JavaScript (например, динамическую пагинацию, ленивую загрузку блоков или данные...

Данная заметка не о том, как парсить социальные сети, а о том, что я обнаружил в социальной сети «Мой Мир Mail.ru». Эта сеть родом из 2007 года до сих пор находиться в перманентно активном состоянии. Более того, в 2019 она была обозначена владельцем как нишевый проект. Но, тем не менее, это не...