scrapping

Всё по теме «scrapping» на форуме Codeby.net. Обсуждений: 5. Разборы, инструменты и практика по информационной безопасности.
  1. Johan Van

    Статья Сбор данных с сайта знакомств с помощью Selenium, BeautifulSoup и requests используя скрипт на Python

    Прежде чем перейти к самому скрипту, стоит сказать пару слов о специфике парсинга именно динамических сайтов через Selenium. В отличие от простых HTTP-запросов через requests, здесь браузер реально рендерит страницу, выполняет JavaScript и подгружает контент по мере скролла или кликов — а...
  2. Johan Van

    Статья Автоматизированный сбор данных с сайта бесплатных объявлений с помощью Python

    Прежде чем переходить к коду, стоит отдельно оговорить юридическую сторону вопроса. Сбор данных с открытых страниц сам по себе не запрещён, но ситуация меняется, если речь идёт о персональных данных — а номер телефона и имя пользователя как раз к ним относятся. Массовый сбор, хранение и тем...
  3. Johan Van

    Статья Парсинг страницы с треками, формирование плейлистов и использование mutagen для чтения метаданных аудиофайлов в Python

    Прежде чем перейти к коду, стоит отметить, что mutagen — это не просто способ вытащить пару тегов из mp3. Библиотека умеет работать с десятками аудиоформатов (MP3, FLAC, OGG, WAV, M4A и другими), а её API позволяет не только читать, но и записывать, изменять и удалять метаданные — то есть...
  4. Johan Van

    Статья Получение данных из таблицы с динамическим содержимым с помощью Python

    Парсинг данных, это всегда увлекательная и полезная штука, ведь получив данные мы можем выполнить различные виды анализа или использовать полученные данные в нужных приложениях, будь то телеграмм-бот или иное приложение. В марте этого года на сайте фриланса fl.ru мне попалось задание, которое...
  5. Johan Van

    Проверка никнейма на доступность для регистрации с помощью Python

    В последнее время много сообщений о всяческих чекерах, сканерах и прочих программах, которые проверяют… ну, допустим доступность никнейма для регистрации на сервисе. Ведь если на сервисе никнейм не доступен, это значит, что нужно будет постараться и придумать другой. Я нашел три таких...