parsing

Всё по теме «parsing» на форуме Codeby.net. Обсуждений: 7. Разборы, инструменты и практика по информационной безопасности.
  1. Johan Van

    Статья Сбор данных с сайта знакомств с помощью Selenium, BeautifulSoup и requests используя скрипт на Python

    Прежде чем перейти к самому скрипту, стоит сказать пару слов о специфике парсинга именно динамических сайтов через Selenium. В отличие от простых HTTP-запросов через requests, здесь браузер реально рендерит страницу, выполняет JavaScript и подгружает контент по мере скролла или кликов — а...
  2. Johan Van

    Статья Автоматизированный сбор данных с сайта бесплатных объявлений с помощью Python

    Прежде чем переходить к коду, стоит отдельно оговорить юридическую сторону вопроса. Сбор данных с открытых страниц сам по себе не запрещён, но ситуация меняется, если речь идёт о персональных данных — а номер телефона и имя пользователя как раз к ним относятся. Массовый сбор, хранение и тем...
  3. Johan Van

    Статья Парсинг страницы с треками, формирование плейлистов и использование mutagen для чтения метаданных аудиофайлов в Python

    Прежде чем перейти к коду, стоит отметить, что mutagen — это не просто способ вытащить пару тегов из mp3. Библиотека умеет работать с десятками аудиоформатов (MP3, FLAC, OGG, WAV, M4A и другими), а её API позволяет не только читать, но и записывать, изменять и удалять метаданные — то есть...
  4. MySystem32

    Bag Bounty проблема с индексом

    Приветствую. Недавно начал читать данную книгу(баг баунти) и я дошел до парсера. Как говорит автор: это просто парсер который собирает список сайтов. Написал код и вот такая ошибка выходит: а вот сам код: from bs4 import BeautifulSoup as sp import requests url =...
  5. Johan Van

    Статья Парсинг вывода команд операционной системы и немного о получении параметров сетевых адаптеров с помощью Python

    Прежде чем переходить к самописному разбору вывода ipconfig, стоит сразу оговориться: для получения параметров сетевых адаптеров в Python существуют и готовые библиотеки, например psutil (функции net_if_addrs, net_if_stats) или netifaces, которые кроссплатформенно и без привязки к языку системы...
  6. Johan Van

    Статья Получение данных из таблицы с динамическим содержимым с помощью Python

    Парсинг данных, это всегда увлекательная и полезная штука, ведь получив данные мы можем выполнить различные виды анализа или использовать полученные данные в нужных приложениях, будь то телеграмм-бот или иное приложение. В марте этого года на сайте фриланса fl.ru мне попалось задание, которое...
  7. MySystem32

    Статья Парсим ресурсы Codeby на языке Python

    Стоит сразу оговориться: разобранный ниже метод с requests и BeautifulSoup отлично работает для статичных страниц, где нужные данные уже лежат в HTML-коде ответа сервера. Но если ресурс подгружает контент через JavaScript (например, динамическую пагинацию, ленивую загрузку блоков или данные...