• Курсы Академии Кодебай, стартующие в мае - июне, от команды The Codeby

    1. Цифровая криминалистика и реагирование на инциденты
    2. ОС Linux (DFIR) Старт: 16 мая
    3. Анализ фишинговых атак Старт: 16 мая Устройства для тестирования на проникновение Старт: 16 мая

    Скидки до 10%

    Полный список ближайших курсов ...

парсинг

  1. W

    Я заказчик Найти пару ключей для парсинга приложения Aвитo

    Приветствую! Необходимо найти пару ключей (публичный, приватный) из приложения Aвитo на Андроид. Ключи, вероятно, передаются в зашифрованном виде. Необходимо запустить apk файл на виртуальной машине, осуществить перехват ключей и предоставить пару ключей в расшифрованном виде для дальнейшего...
  2. Johan Van

    Статья Сбор данных с сайта знакомств с помощью Selenium, BeautifulSoup и requests используя скрипт на Python

    В данной статье я предлагаю вам немного отвлечься от слишком серьезных задач и попрактиковаться в парсинге. А, чтобы не было скучно, будем мы парсить достаточно известный сайт знакомств. А именно, забирать оттуда фото пользователей. Для наших целей мы будем использовать Selenium, BeautifulSoup...
  3. Johan Van

    Статья Автоматизированный сбор данных с сайта бесплатных объявлений с помощью Python

    Решил я тут на днях попробовать парсить Авито. Наверное, раньше это была одна из излюбленных площадок для обучения парсингу. И, действительно, ещё примерно год назад можно было собирать данные с этой площадки особо не напрягаясь. Но, возможно, в связи с громкими утечками данных защита от...
  4. Johan Van

    Статья Парсинг страницы с треками, формирование плейлистов и использование mutagen для чтения метаданных аудиофайлов в Python

    Давайте сегодня займемся парсингом, а заодно посмотрим, как работает библиотека для извлечения IDv3 тегов из аудиофайлов. Парсить будем сайт, с которого можно бесплатно скачать музыкальные треки. Скажем так, совместим приятное с полезным. Попрактикуемся немного в парсинге, а заодно скачаем себе...
  5. Johan Van

    Статья Парсинг вывода команд операционной системы и немного о получении параметров сетевых адаптеров с помощью Python

    В данной статье речь пойдет о парсинге. Не о том, когда получаются данные веб-сайта. Этот парсинг, в более правильном варианте, все же называется scrapping. А о том, который подразумевает под собой парсинг данных. В данном случае текстовых. Ну и немного о получении данных о сетевых адаптерах...
  6. Johan Van

    Статья Получение данных из таблицы с динамическим содержимым с помощью Python

    Парсинг данных, это всегда увлекательная и полезная штука, ведь получив данные мы можем выполнить различные виды анализа или использовать полученные данные в нужных приложениях, будь то телеграмм-бот или иное приложение. В марте этого года на сайте фриланса fl.ru мне попалось задание, которое...
  7. Johan Van

    Статья Загружаем видео из ВК с помощью Python

    Загрузка видео на локальный диск, это дело хорошее. Потому, что у любого контента в интернете есть не очень хорошее свойство — рано или поздно он попросту теряется, либо его удаляют. Я немного покопался в коде страничек ВК и сделал небольшой скрипт, который загружает видео. А использовал я для...
  8. P

    Проблема с парсингом на PyQt5

    Пишу код для парсинга https://apitest.arizona-rp.com/mon/fraction/11/9. Паршу с помощью PyQt5. Вся проблема в том, что при первом вызове парсинга этого сайта код работает на отлично, но если вызвать метод 2 раза, то код выполняется только первый раз, а на второй раз выкидывает ошибку Process...
  9. Pr0r0k

    Я исполнитель Разработка Телеграмм ботов, Парсинг данных

    Всем привет, занимаюсь разработкой телеграмм ботов на Python. Имею опыт работы с get/post запросами, базами данных, парсингом сайтов и многое другое. Имеется бэкграунд в виде бота который парсит постоянно данные недвижимости с интернет-сервисов таких как Авито, DomClick, DomoFond и...
  10. Johan Van

    Статья Перевод текста в переводчике DeepL с использованием Selenium в Python

    Когда вы собираетесь читать книгу на иностранном языке, вы либо учите этот язык, для того, чтобы можно было читать тексты в оригинале, либо пользуетесь услугами машинного перевода. Если, конечно, книга уже не переведена на ваш язык опытным переводчиком. И, несомненно, лидерами в области...
  11. Johan Van

    Статья Скачиваем видео с YouTube с помощью Python, без использования pytube

    Что вы делаете, когда вам нужно сохранить определенное видео с YouTube, чтобы оно не потерялось? Ну, тут логично. Можно в самом YouTube создать плейлист и добавлять туда все, что нужно. Можно просто добавить страницу в закладки. Да много чего можно сделать. А еще скачать видео себе на жесткий...
  12. Johan Van

    Статья Парсим новости в бота с помощью почти забытой технологии. Использование RSS в Python

    Начинающие программисты на питоне постоянно натыкаются на уроки о том, как создать бота. И да, боты – это довольно полезная штука, но лишь в том случае, если они еще и выполняют какие-либо полезные функции. С помощью телеграмм-бота можно даже управлять компьютером удаленно. И это не так уж и...
  13. Johan Van

    Статья Проверка никнейма на доступность для регистрации с помощью Python

    В последнее время много сообщений о всяческих чекерах, сканерах и прочих программах, которые проверяют… ну, допустим доступность никнейма для регистрации на сервисе. Ведь если на сервисе никнейм не доступен, это значит, что нужно будет постараться и придумать другой. Я нашел три таких...
  14. Johan Van

    Статья Парсим данные таблиц сайта в Excel с помощью Pandas

    Парсинг данных. Эта штука может быть настолько увлекательной, что порой затягивает очень сильно. Ведь всегда интересно найти способ, с помощью которого можно получить те или иные данные, да еще и структурировать их в нужном виде. В статье «Простой пример работы с Excel в Python» уже был...
  15. Johan Van

    Статья Парсим и скачиваем «нескучные обои» с использованием потоков в Python

    Давайте сегодня подумаем о красоте. А именно, о красоте рабочего стола. А украсить его могут только «нескучные обои». Привет, Денис Попов :LOL:. Ну, а если более серьезно, то скачаем картинки с обоями с сайта, на котором их очень и очень много. Конечно же, для того, чтобы скачать картинки мы...
  16. Johan Van

    Статья Парсим сгенерированные фото с помощью Python

    Для Python, думаю, существует довольно много библиотек по генерации ненастоящих данных, которые впоследствии можно было бы использовать для регистрации на сайтах, когда указывать настоящую информацию не очень хочется. Но, вот генерация фото несуществующих людей уже связана с ИИ, ML и нейронными...
  17. Johan Van

    Статья Простой пример работы с Excel в Python

    В данной статье я хочу показать, как можно работать с книгой Excel вне зависимости от того, установлен ли у вас Microsoft Excel или нет, а также вне зависимости от того, какую операционную систему вы используете. Библиотека, которая используется для работы с книгой, независима от наличия...
  18. Johan Van

    Статья Скачивание журналов с сайта для чтения онлайн в виде картинок и сборка их в PDF

    Иногда я люблю почитать журналы. Но я уже давно их не покупал. Наверное последний купленный мой журнал был «Хакер» 2009 года. Уж не помню даже, какой выпуск. Помню, что тогда к журналам прилагался диск с программами и в этом номере был диск с дистрибутивом Linux Mandriva. Красивая была ось. Ну...
  19. Johan Van

    Статья Сортировка книг в формате PDF по годам выпуска с помощью Python

    Не знаю как у других, но у меня есть такая привычка – собирать как можно больше информации об изучаемом предмете. Не факт, что в будущем она может понадобиться, но, тем не менее, я от нее пока что не избавился. И вот, когда я начал изучать Python, конечно же, мне в голову пришла «гениальная»...
  20. Johan Van

    Статья Скачиваем видео с Rutube с помощью Python

    Рассматривая текущие реалии можно предположить, что вполне возможно, в довольно скором времени начнется миграция видеоблогеров на другие платформы для размещения своего видеоконтента. И вполне возможно, что одной из таких платформ станет Rutube. Тем более не так давно они провели презентацию, из...